Big data : quel logiciel ?

Bonjour a tous,

Je souhaite analyser des gros jeux de données (entre 10 et 1000 giga). Savez-vous s'il existe des logiciels qui permettent de faire ce genre de chose ?
Merci !

Christophe

SAS, python ou même R récemment avec le package big data est capable de travailler sur de grosses bases de données.
Tiens, je suis entrain de faire tourner un programme sur une table de 30G sur SAS, - du coup je fouine dans le forum, bois un café ,je suis sur le net, il faut du temps pour que çà tourne!!!.

Le problème en soit c'est pas le logiciel, enfin si un peu, mais le plus important c'est d'avoir une bonne machine (puissante) capable de supporter ces bdd.
Dat's the Secret ;-)

12010929 a écrit:SAS, python ou même R récemment avec le package big data est capable de travailler sur de grosses bases de données.
Tiens, je suis entrain de faire tourner un programme sur une table de 30G  sur SAS, - du coup je fouine dans le forum, bois un café ,je suis sur le net, il faut du temps pour que çà tourne!!!.

Le problème en soit c'est pas le logiciel, enfin si un peu, mais le plus important c'est d'avoir une bonne machine (puissante) capable de supporter ces bdd.
Dat's the Secret ;-)

Avez-vous essayer R ? Parce qu'il y a 1 ans, j'ai essayé big data et ses performances étaient assez catastrophiques...
Pour SAS, quelle version utilisez-vous ? Serait-il indiscret de vous en demander le prix (éventuellement par MP) ?

J'ai pas essayé de grosses bases avec R mais comme je disais ils upgradent d'année en année là dessus.
Ce qui est sur c'est pas le meilleur logiciel pour les grandes BDD.
La version de SAS que j'utilise est le 9.3
je ne connais exactement le prix mais çà doit tourner autour de 4500€ la licence SAS base.

Bonjour,

SAS est censé être le logiciel le plus performant de part son langage nouvelle génération unique. Maintenant j'ai déjà travaillé sur des bases de données d'environ 70 000 lignes avec une vingtaine de variable et ça raaaaaaaaaaammmmmmmmmmmmmmmeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeee. Et ceux même sur un ordinateur configuré pour ce type de traitement.

Je crois qu'il va falloir prendre son mal en patience encore quelques années.

Quand à son prix, il faut plus tabuler dans les 15k-25k il me semble, il s'agit purement d'un logiciel pour professionnel et donc pas accessible pour les particuliers. Et même si on arrive à mettre la main sur une licence, le logiciel demande renouvellement les droits chaque année donc ça reste temporaire.

joyeux_lapin13 a écrit:
SAS est censé être le logiciel le plus performant de part son langage nouvelle génération unique. Maintenant j'ai déjà travaillé sur des bases de données d'environ 70 000 lignes avec une vingtaine de variable et ça raaaaaaaaaaammmmmmmmmmmmmmmeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeee. Et ceux même sur un ordinateur configuré pour ce type de traitement.

oh... tu devais avoir des problèmes quelque part.

Je travaille régulièrement sur des tables de plusieurs centaines de milliers de lignes avec beaucoup de variables (plus de 20) et ça ne rame pas du tout(avec un PC de 3.3 GHz et 4 GO de RAM)

ça commence à ramer sur des tables qui se compte en million de lignes et beaucoup de variables.

Niaboc

Bah quand je bossais à l'INSEE sur le recensement de Mayotte, j'avais environ 210 000 lignes pour une 50aine de variables voir plus, j'ai souvenir que pour que mes traitements voient le jour fallait à chaque fois que je restreigne ma table aux variables qui m'intéresse.