Les posteurs les plus actifs de la semaine
Aucun utilisateur |
Sujets les plus vus
quel logiciel pour exploiter des grosses bases de données?
3 participants
Page 1 sur 1
quel logiciel pour exploiter des grosses bases de données?
Bonjour à tous,
Je ne suis peut-être pas sur le forum adéquat pour mon problème étant donné que cela concerne plutôt des problèmes de bdd que de statistiques, toutefois en m'adressant à des stateux je me dis que j'aurais plus de chances de me faire comprendre
Voici mon problème: je dois effectuer un scoring sur des bases de données client, seulement je dois effectuer des travaux sur des bases très volumineuses sans avoir vraiment les outils adaptés.
On m'a fourni des fichiers bruts (format txt), qui une fois empilés aboutissent à une base de ~200 millions de lignes. Pour l'instant j'ai effectué l'importation ainsi que les premiers traitements grâce à SPSS, seulement je me retrouve maintenant avec une base de 36go, sur laquelle je dois effectuer des tris et aggrégats, ce qui à cause du volume me semble très laborieux sous SPSS.
J'ai plutôt une expertise de SAS, à mon avis SAS serait nettement plus performant mais nous n'avons pas ce logiciel. Par contre je sais qu'il existe des outils gratuits pour faire du SQL, et pour en avoir fait un peu sous SAS il me semble que le langage SQL serait adapté pour les traitements que je compte faire (fusions sans tris au préalables, etc). Savez vous grâce à quel logiciel je pourrais exploiter des fichiers type txt en langage SQL?
En effet SAS permet assez simplement de faire de la syntaxe SQL, seulement les logiciels SQL que j'ai vu pour l'instant me semblent particulièrement obscurs, avec création de serveurs virtuels etc...
voilà, j'espère que ma demande est à peu près claire!
merci d'avance!
Je ne suis peut-être pas sur le forum adéquat pour mon problème étant donné que cela concerne plutôt des problèmes de bdd que de statistiques, toutefois en m'adressant à des stateux je me dis que j'aurais plus de chances de me faire comprendre
Voici mon problème: je dois effectuer un scoring sur des bases de données client, seulement je dois effectuer des travaux sur des bases très volumineuses sans avoir vraiment les outils adaptés.
On m'a fourni des fichiers bruts (format txt), qui une fois empilés aboutissent à une base de ~200 millions de lignes. Pour l'instant j'ai effectué l'importation ainsi que les premiers traitements grâce à SPSS, seulement je me retrouve maintenant avec une base de 36go, sur laquelle je dois effectuer des tris et aggrégats, ce qui à cause du volume me semble très laborieux sous SPSS.
J'ai plutôt une expertise de SAS, à mon avis SAS serait nettement plus performant mais nous n'avons pas ce logiciel. Par contre je sais qu'il existe des outils gratuits pour faire du SQL, et pour en avoir fait un peu sous SAS il me semble que le langage SQL serait adapté pour les traitements que je compte faire (fusions sans tris au préalables, etc). Savez vous grâce à quel logiciel je pourrais exploiter des fichiers type txt en langage SQL?
En effet SAS permet assez simplement de faire de la syntaxe SQL, seulement les logiciels SQL que j'ai vu pour l'instant me semblent particulièrement obscurs, avec création de serveurs virtuels etc...
voilà, j'espère que ma demande est à peu près claire!
merci d'avance!
flipo- Nombre de messages : 36
Date d'inscription : 13/06/2008
Re: quel logiciel pour exploiter des grosses bases de données?
Salut,
R permet d'accéder directement à une base de donnée et d'exécuter des requête.
Mais quelque soit le logiciel je te conseil plutôt de faire les requête avec un outil d'administration, et une fois les données nettoyées, les récupérer pour l'analyse.
Pour monter une base MySQL c'est vrai que c'est pas très intuitif mais il y'a de nombreuses ressources sur le net.
R permet d'accéder directement à une base de donnée et d'exécuter des requête.
Mais quelque soit le logiciel je te conseil plutôt de faire les requête avec un outil d'administration, et une fois les données nettoyées, les récupérer pour l'analyse.
Pour monter une base MySQL c'est vrai que c'est pas très intuitif mais il y'a de nombreuses ressources sur le net.
FS- Nombre de messages : 163
Date d'inscription : 25/04/2008
Re: quel logiciel pour exploiter des grosses bases de données?
Pour le Scoring, je conseillerais le module Scorecard de STATISTICA.
Il faut contacter StatSoft : www.statsoft.fr
Il faut contacter StatSoft : www.statsoft.fr
adestaville- Nombre de messages : 11
Date d'inscription : 29/12/2010
Sujets similaires
» Bases de données pour méthodes d'apprentissage supervisé
» quel logiciel traite données statistiques et génétique
» Quel test pour des données en classes
» Quel test choisir pour ce genre de données?
» Quel analyse perspicace me conseiller vous pour ces données?
» quel logiciel traite données statistiques et génétique
» Quel test pour des données en classes
» Quel test choisir pour ce genre de données?
» Quel analyse perspicace me conseiller vous pour ces données?
Page 1 sur 1
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum