Les posteurs les plus actifs de la semaine
Aucun utilisateur |
Sujets les plus vus
Big data : quel logiciel ?
4 participants
Page 1 sur 1
Big data : quel logiciel ?
Bonjour a tous,
Je souhaite analyser des gros jeux de données (entre 10 et 1000 giga). Savez-vous s'il existe des logiciels qui permettent de faire ce genre de chose ?
Merci !
Christophe
Je souhaite analyser des gros jeux de données (entre 10 et 1000 giga). Savez-vous s'il existe des logiciels qui permettent de faire ce genre de chose ?
Merci !
Christophe
Christophe_- Nombre de messages : 2
Date d'inscription : 26/08/2015
Re: Big data : quel logiciel ?
SAS, python ou même R récemment avec le package big data est capable de travailler sur de grosses bases de données.
Tiens, je suis entrain de faire tourner un programme sur une table de 30G sur SAS, - du coup je fouine dans le forum, bois un café ,je suis sur le net, il faut du temps pour que çà tourne!!!.
Le problème en soit c'est pas le logiciel, enfin si un peu, mais le plus important c'est d'avoir une bonne machine (puissante) capable de supporter ces bdd.
Dat's the Secret ;-)
Tiens, je suis entrain de faire tourner un programme sur une table de 30G sur SAS, - du coup je fouine dans le forum, bois un café ,je suis sur le net, il faut du temps pour que çà tourne!!!.
Le problème en soit c'est pas le logiciel, enfin si un peu, mais le plus important c'est d'avoir une bonne machine (puissante) capable de supporter ces bdd.
Dat's the Secret ;-)
12010929- Nombre de messages : 45
Date d'inscription : 24/06/2014
Re: Big data : quel logiciel ?
12010929 a écrit:SAS, python ou même R récemment avec le package big data est capable de travailler sur de grosses bases de données.
Tiens, je suis entrain de faire tourner un programme sur une table de 30G sur SAS, - du coup je fouine dans le forum, bois un café ,je suis sur le net, il faut du temps pour que çà tourne!!!.
Le problème en soit c'est pas le logiciel, enfin si un peu, mais le plus important c'est d'avoir une bonne machine (puissante) capable de supporter ces bdd.
Dat's the Secret ;-)
Avez-vous essayer R ? Parce qu'il y a 1 ans, j'ai essayé big data et ses performances étaient assez catastrophiques...
Pour SAS, quelle version utilisez-vous ? Serait-il indiscret de vous en demander le prix (éventuellement par MP) ?
Christophe_- Nombre de messages : 2
Date d'inscription : 26/08/2015
Re: Big data : quel logiciel ?
J'ai pas essayé de grosses bases avec R mais comme je disais ils upgradent d'année en année là dessus.
Ce qui est sur c'est pas le meilleur logiciel pour les grandes BDD.
La version de SAS que j'utilise est le 9.3
je ne connais exactement le prix mais çà doit tourner autour de 4500€ la licence SAS base.
Ce qui est sur c'est pas le meilleur logiciel pour les grandes BDD.
La version de SAS que j'utilise est le 9.3
je ne connais exactement le prix mais çà doit tourner autour de 4500€ la licence SAS base.
12010929- Nombre de messages : 45
Date d'inscription : 24/06/2014
Re: Big data : quel logiciel ?
Bonjour,
SAS est censé être le logiciel le plus performant de part son langage nouvelle génération unique. Maintenant j'ai déjà travaillé sur des bases de données d'environ 70 000 lignes avec une vingtaine de variable et ça raaaaaaaaaaammmmmmmmmmmmmmmeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeee. Et ceux même sur un ordinateur configuré pour ce type de traitement.
Je crois qu'il va falloir prendre son mal en patience encore quelques années.
Quand à son prix, il faut plus tabuler dans les 15k-25k il me semble, il s'agit purement d'un logiciel pour professionnel et donc pas accessible pour les particuliers. Et même si on arrive à mettre la main sur une licence, le logiciel demande renouvellement les droits chaque année donc ça reste temporaire.
SAS est censé être le logiciel le plus performant de part son langage nouvelle génération unique. Maintenant j'ai déjà travaillé sur des bases de données d'environ 70 000 lignes avec une vingtaine de variable et ça raaaaaaaaaaammmmmmmmmmmmmmmeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeee. Et ceux même sur un ordinateur configuré pour ce type de traitement.
Je crois qu'il va falloir prendre son mal en patience encore quelques années.
Quand à son prix, il faut plus tabuler dans les 15k-25k il me semble, il s'agit purement d'un logiciel pour professionnel et donc pas accessible pour les particuliers. Et même si on arrive à mettre la main sur une licence, le logiciel demande renouvellement les droits chaque année donc ça reste temporaire.
Re: Big data : quel logiciel ?
joyeux_lapin13 a écrit:
SAS est censé être le logiciel le plus performant de part son langage nouvelle génération unique. Maintenant j'ai déjà travaillé sur des bases de données d'environ 70 000 lignes avec une vingtaine de variable et ça raaaaaaaaaaammmmmmmmmmmmmmmeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeee. Et ceux même sur un ordinateur configuré pour ce type de traitement.
oh... tu devais avoir des problèmes quelque part.
Je travaille régulièrement sur des tables de plusieurs centaines de milliers de lignes avec beaucoup de variables (plus de 20) et ça ne rame pas du tout(avec un PC de 3.3 GHz et 4 GO de RAM)
ça commence à ramer sur des tables qui se compte en million de lignes et beaucoup de variables.
Niaboc
niaboc- Nombre de messages : 1001
Age : 36
Localisation : Paris
Date d'inscription : 05/05/2008
Re: Big data : quel logiciel ?
Bah quand je bossais à l'INSEE sur le recensement de Mayotte, j'avais environ 210 000 lignes pour une 50aine de variables voir plus, j'ai souvenir que pour que mes traitements voient le jour fallait à chaque fois que je restreigne ma table aux variables qui m'intéresse.

» Quel logiciel de statistiques et quel test dois je utiliser
» Logiciel de Data-Mining WEKA
» Quel logiciel utiliser
» Classification - quel logiciel
» Quel logiciel doit-on maîtriser?
» Logiciel de Data-Mining WEKA
» Quel logiciel utiliser
» Classification - quel logiciel
» Quel logiciel doit-on maîtriser?
Page 1 sur 1
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum
|
|