Les posteurs les plus actifs de la semaine
zezima
 
poetschevleesch
 
Stanlgn
 
c@ssoulet
 
FMarwen
 
EternalSunshine
 
MaxenceR
 


Big data : quel logiciel ?

Aller en bas

Big data : quel logiciel ?

Message par Christophe_ le Mer 26 Aoû 2015 - 9:55

Bonjour a tous,

Je souhaite analyser des gros jeux de données (entre 10 et 1000 giga). Savez-vous s'il existe des logiciels qui permettent de faire ce genre de chose ?
Merci !

Christophe

Christophe_

Nombre de messages : 2
Date d'inscription : 26/08/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Big data : quel logiciel ?

Message par 12010929 le Mer 26 Aoû 2015 - 13:15

SAS, python ou même R récemment avec le package big data est capable de travailler sur de grosses bases de données.
Tiens, je suis entrain de faire tourner un programme sur une table de 30G sur SAS, - du coup je fouine dans le forum, bois un café ,je suis sur le net, il faut du temps pour que çà tourne!!!.

Le problème en soit c'est pas le logiciel, enfin si un peu, mais le plus important c'est d'avoir une bonne machine (puissante) capable de supporter ces bdd.
Dat's the Secret ;-)

12010929

Nombre de messages : 45
Date d'inscription : 24/06/2014

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Big data : quel logiciel ?

Message par Christophe_ le Mer 26 Aoû 2015 - 17:38

12010929 a écrit:SAS, python ou même R récemment avec le package big data est capable de travailler sur de grosses bases de données.
Tiens, je suis entrain de faire tourner un programme sur une table de 30G  sur SAS, - du coup je fouine dans le forum, bois un café ,je suis sur le net, il faut du temps pour que çà tourne!!!.

Le problème en soit c'est pas le logiciel, enfin si un peu, mais le plus important c'est d'avoir une bonne machine (puissante) capable de supporter ces bdd.
Dat's the Secret ;-)

Avez-vous essayer R ? Parce qu'il y a 1 ans, j'ai essayé big data et ses performances étaient assez catastrophiques...
Pour SAS, quelle version utilisez-vous ? Serait-il indiscret de vous en demander le prix (éventuellement par MP) ?

Christophe_

Nombre de messages : 2
Date d'inscription : 26/08/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Big data : quel logiciel ?

Message par 12010929 le Jeu 27 Aoû 2015 - 8:23

J'ai pas essayé de grosses bases avec R mais comme je disais ils upgradent d'année en année là dessus.
Ce qui est sur c'est pas le meilleur logiciel pour les grandes BDD.
La version de SAS que j'utilise est le 9.3
je ne connais exactement le prix mais çà doit tourner autour de 4500€ la licence SAS base.


12010929

Nombre de messages : 45
Date d'inscription : 24/06/2014

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Big data : quel logiciel ?

Message par joyeux_lapin13 le Ven 28 Aoû 2015 - 7:26

Bonjour,

SAS est censé être le logiciel le plus performant de part son langage nouvelle génération unique. Maintenant j'ai déjà travaillé sur des bases de données d'environ 70 000 lignes avec une vingtaine de variable et ça raaaaaaaaaaammmmmmmmmmmmmmmeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeee. Et ceux même sur un ordinateur configuré pour ce type de traitement.

Je crois qu'il va falloir prendre son mal en patience encore quelques années.

Quand à son prix, il faut plus tabuler dans les 15k-25k il me semble, il s'agit purement d'un logiciel pour professionnel et donc pas accessible pour les particuliers. Et même si on arrive à mettre la main sur une licence, le logiciel demande renouvellement les droits chaque année donc ça reste temporaire.
avatar
joyeux_lapin13

Nombre de messages : 1924
Age : 35
Localisation : Mayotte
Date d'inscription : 21/04/2010

Voir le profil de l'utilisateur https://lemakistatheux.wordpress.com/

Revenir en haut Aller en bas

Re: Big data : quel logiciel ?

Message par niaboc le Ven 28 Aoû 2015 - 7:39

joyeux_lapin13 a écrit:
SAS est censé être le logiciel le plus performant de part son langage nouvelle génération unique. Maintenant j'ai déjà travaillé sur des bases de données d'environ 70 000 lignes avec une vingtaine de variable et ça raaaaaaaaaaammmmmmmmmmmmmmmeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeee. Et ceux même sur un ordinateur configuré pour ce type de traitement.

oh... tu devais avoir des problèmes quelque part.

Je travaille régulièrement sur des tables de plusieurs centaines de milliers de lignes avec beaucoup de variables (plus de 20) et ça ne rame pas du tout(avec un PC de 3.3 GHz et 4 GO de RAM)

ça commence à ramer sur des tables qui se compte en million de lignes et beaucoup de variables.

Niaboc
avatar
niaboc

Nombre de messages : 949
Age : 31
Localisation : Paris
Date d'inscription : 05/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Big data : quel logiciel ?

Message par joyeux_lapin13 le Ven 28 Aoû 2015 - 7:50

Bah quand je bossais à l'INSEE sur le recensement de Mayotte, j'avais environ 210 000 lignes pour une 50aine de variables voir plus, j'ai souvenir que pour que mes traitements voient le jour fallait à chaque fois que je restreigne ma table aux variables qui m'intéresse.
avatar
joyeux_lapin13

Nombre de messages : 1924
Age : 35
Localisation : Mayotte
Date d'inscription : 21/04/2010

Voir le profil de l'utilisateur https://lemakistatheux.wordpress.com/

Revenir en haut Aller en bas

Re: Big data : quel logiciel ?

Message par Contenu sponsorisé


Contenu sponsorisé


Revenir en haut Aller en bas

Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum