Les posteurs les plus actifs de la semaine
niaboc
Limite de R Vote_lcapLimite de R Voting_barLimite de R Vote_rcap 
Ayana
Limite de R Vote_lcapLimite de R Voting_barLimite de R Vote_rcap 
A k a
Limite de R Vote_lcapLimite de R Voting_barLimite de R Vote_rcap 
Eric Wajnberg
Limite de R Vote_lcapLimite de R Voting_barLimite de R Vote_rcap 
yulione
Limite de R Vote_lcapLimite de R Voting_barLimite de R Vote_rcap 
droopy
Limite de R Vote_lcapLimite de R Voting_barLimite de R Vote_rcap 
Aytan
Limite de R Vote_lcapLimite de R Voting_barLimite de R Vote_rcap 
Coco
Limite de R Vote_lcapLimite de R Voting_barLimite de R Vote_rcap 
gg
Limite de R Vote_lcapLimite de R Voting_barLimite de R Vote_rcap 


Limite de R

Aller en bas

Limite de R Empty Limite de R

Message par damgui le Ven 15 Fév 2013 - 14:20

Bonjour,
Je souhaiterais savoir quelles sont les limites de R. Parce que je dois faire tourner une régression sur des millions de lignes.
Si je peux pas faire tourner mon jeu de données sur R, quel serait le meilleur choix de logiciel?
Est ce que quelqu'un peut m'aider?

damgui

Nombre de messages : 39
Age : 29
Date d'inscription : 14/06/2012

Voir le profil de l'utilisateur http://www.apprenti-webmarketeur.com

Revenir en haut Aller en bas

Limite de R Empty Re: Limite de R

Message par droopy le Lun 18 Fév 2013 - 11:58

C'est une question complexe, qui dépend de R, mais aussi de la version de R que tu utilises, de l'os sur lequel tu travailles et bien sur des caractéristiques de ton ordi.
droopy
droopy

Nombre de messages : 1126
Date d'inscription : 04/09/2009

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Limite de R Empty Re: Limite de R

Message par Ismtid le Mar 19 Fév 2013 - 0:08

Le pire cauchemar de R se sont les boucles imbriquées (les unes dans les autres), au bout de 3 boucles ou plus, ça le rend hyper long , alors si tu dois avoir recours à des boucles imbriquées, mieux vaut éviter.
Mais on n'oublie pas que R c'est un logiciel qui travaille sous forme matricielle, ce qui peut nous aider à éviter les boucles. Mais si tu n'as pas trop de boucles, la taille des données ce n'est pas un problème pour R, cela dépend de ton ordinateur.
Je croix que le max qu'on puisse attendre d'un logiciel gratuit ^^
Pour les logiciels les plus puissants, je te conseille Matlab *ça c'est de costaud*


Dernière édition par A.D. le Ven 22 Fév 2013 - 11:32, édité 1 fois (Raison : orthographe)

Ismtid

Nombre de messages : 2
Date d'inscription : 18/02/2013

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Limite de R Empty Re: Limite de R

Message par damgui le Jeu 21 Fév 2013 - 13:40

Merci de vos réponses, j'avais lu dans un article (je me rappelle plus où) que R avait une limite de 400 000 lignes et 10 minutes de temps de calcul.
C'est vrai?

damgui

Nombre de messages : 39
Age : 29
Date d'inscription : 14/06/2012

Voir le profil de l'utilisateur http://www.apprenti-webmarketeur.com

Revenir en haut Aller en bas

Limite de R Empty Re: Limite de R

Message par droopy le Jeu 21 Fév 2013 - 14:42

non, exposée comme ça c'est une grosse connerie.
droopy
droopy

Nombre de messages : 1126
Date d'inscription : 04/09/2009

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Limite de R Empty Re: Limite de R

Message par Ayana le Jeu 21 Fév 2013 - 15:43

Pour le nombre de lignes, je ne sais pas, mais en tout cas, je fais des simulations avec R qui durent en général plusieurs jours, et je n'ai jamais eu de problème.

Ayana
Ayana
Ayana

Nombre de messages : 524
Localisation : Londres
Date d'inscription : 18/08/2009

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Limite de R Empty Re: Limite de R

Message par damgui le Jeu 21 Fév 2013 - 17:20

Merci beaucoup pour vos réponses cela me rassure pour mes calculs

damgui

Nombre de messages : 39
Age : 29
Date d'inscription : 14/06/2012

Voir le profil de l'utilisateur http://www.apprenti-webmarketeur.com

Revenir en haut Aller en bas

Limite de R Empty Re: Limite de R

Message par FS le Ven 22 Fév 2013 - 10:57

Sinon pense aussi à l’échantillonnage.
Si c'est pour l'apprentissage, c'est souvent la solution la plus simple et la plus pratique pour peu que tes données ne sois pas trop merdique.

Si c'est pour la prédiction, quelque soit le langage y'a toujours moyen de faire ça par block de millier de ligne, plutôt que se trimballer une énorme matrice.

FS

Nombre de messages : 163
Date d'inscription : 25/04/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Limite de R Empty Re: Limite de R

Message par HDKalit le Ven 22 Fév 2013 - 16:23

FS a écrit:Sinon pense aussi à l’échantillonnage.
Si c'est pour l'apprentissage, c'est souvent la solution la plus simple et la plus pratique pour peu que tes données ne sois pas trop merdique.

Si c'est pour la prédiction, quelque soit le langage y'a toujours moyen de faire ça par block de millier de ligne, plutôt que se trimballer une énorme matrice.

+1!


HDKalit

Nombre de messages : 85
Date d'inscription : 10/01/2013

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Limite de R Empty Re: Limite de R

Message par joyeux_lapin13 le Sam 23 Fév 2013 - 4:48

Pareil qu'Ayana, je fais énormément de process multi-core ou le but c'est d'en faire chier un max à R et le garçon tient drôlement efficacement la route.

Après je pense qu'il y a forcément des limites pour un logiciel non commercial mais concernant R, pour les atteindre, faut franchement le vouloir à mon humble avis.
joyeux_lapin13
joyeux_lapin13

Nombre de messages : 1925
Age : 35
Localisation : Mayotte
Date d'inscription : 21/04/2010

Voir le profil de l'utilisateur https://lemakistatheux.wordpress.com/

Revenir en haut Aller en bas

Limite de R Empty Re: Limite de R

Message par HDKalit le Dim 24 Fév 2013 - 11:17

joyeux_lapin13 a écrit:Pareil qu'Ayana, je fais énormément de process multi-core ou le but c'est d'en faire chier un max à R et le garçon tient drôlement efficacement la route.

Après je pense qu'il y a forcément des limites pour un logiciel non commercial mais concernant R, pour les atteindre, faut franchement le vouloir à mon humble avis.

Un truc simple (qui ne prend pas beaucoup de temps) est de lui charger beaucoup beaucoup de lignes et de variables et de lui demander un bête "summary" des données importées.
Et là le petit fait clairement la gueule au dessus d'un certain nombre de lignes.

Après j'ai pris l'option d'échantillonner avant de charger mes données.


HDKalit

Nombre de messages : 85
Date d'inscription : 10/01/2013

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Limite de R Empty Re: Limite de R

Message par droopy le Lun 25 Fév 2013 - 8:11

HDKalit a écrit:
joyeux_lapin13 a écrit:Pareil qu'Ayana, je fais énormément de process multi-core ou le but c'est d'en faire chier un max à R et le garçon tient drôlement efficacement la route.

Après je pense qu'il y a forcément des limites pour un logiciel non commercial mais concernant R, pour les atteindre, faut franchement le vouloir à mon humble avis.

Un truc simple (qui ne prend pas beaucoup de temps) est de lui charger beaucoup beaucoup de lignes et de variables et de lui demander un bête "summary" des données importées.
Et là le petit fait clairement la gueule au dessus d'un certain nombre de lignes.

Après j'ai pris l'option d'échantillonner avant de charger mes données.

Encore une fois tout ça n'a pas de sens. Il y a tellement de paramètres qui interviennent, le nombre de lignes, de colonnes, la ram, le processeur, l'os ... la manière dont tu codes les trucs, bre tout ça n'a pas trop de sens à mon avis.
droopy
droopy

Nombre de messages : 1126
Date d'inscription : 04/09/2009

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Limite de R Empty Re: Limite de R

Message par HDKalit le Lun 25 Fév 2013 - 8:59

droopy a écrit:
HDKalit a écrit:
joyeux_lapin13 a écrit:Pareil qu'Ayana, je fais énormément de process multi-core ou le but c'est d'en faire chier un max à R et le garçon tient drôlement efficacement la route.

Après je pense qu'il y a forcément des limites pour un logiciel non commercial mais concernant R, pour les atteindre, faut franchement le vouloir à mon humble avis.

Un truc simple (qui ne prend pas beaucoup de temps) est de lui charger beaucoup beaucoup de lignes et de variables et de lui demander un bête "summary" des données importées.
Et là le petit fait clairement la gueule au dessus d'un certain nombre de lignes.

Après j'ai pris l'option d'échantillonner avant de charger mes données.

Encore une fois tout ça n'a pas de sens. Il y a tellement de paramètres qui interviennent, le nombre de lignes, de colonnes, la ram, le processeur, l'os ... la manière dont tu codes les trucs, bre tout ça n'a pas trop de sens à mon avis.

Hey droopy!

Justement là je ne parlais pas de code puisque je te parles uniquement de charger une table de données (mettons 300 000 lignes pour 6 colonnes).
Après tu lui demande un "résumé" (fonction summary), donc là encore tu ne codes pas.

Et bien avec ma machine (os: linux, disque 150 GO ssd, processeur 4 cœur à je sais pas combien de GHz, une RAM de 8 Go - ou 16 je sais plus) c'est lent.

Et encore une fois ma seule ligne de "code" c'est de faire summary(data) une fois que mes données sont chargées Wink

Cdtl,

KaliHD

HDKalit

Nombre de messages : 85
Date d'inscription : 10/01/2013

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Limite de R Empty Re: Limite de R

Message par droopy le Lun 25 Fév 2013 - 9:54

pour moi ça prend 0.18s pour 400 000 lignes et 6 colonnes. Donc pas lent. Encore une fois tout est relatif et tout dépend de ce que tu cherches à faire et de comment tu le fais.
droopy
droopy

Nombre de messages : 1126
Date d'inscription : 04/09/2009

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Limite de R Empty Re: Limite de R

Message par HDKalit le Lun 25 Fév 2013 - 9:57

droopy a écrit:pour moi ça prend 0.18s pour 400 000 lignes et 6 colonnes. Donc pas lent. Encore une fois tout est relatif et tout dépend de ce que tu cherches à faire et de comment tu le fais.

Arf.
J'avoue que j'ai du mal à saisir ... la machine est censée être très bonne, je charge seulement les données puis un simple résumé stat dessus (et un petit boxplot aussi je viens de m'en rendre compte Embarassed Embarassed ).
Mais quoi qu'il arrive il "rame" pour afficher un simple résumé donc rien de bien "folichon" (la preuve tu le fais en 0.18 sec).

En revanche, et là ça peut jouer, est-ce qu'il charge/stocke de la même façon des données qu'on lui "donne depuis R" et des données qui viennent de l'extérieur (Excel,texte ou - et c'est mon cas - mySQL)?

Encore merci pour ce topic qui me fait me poser de bonnes questions Very Happy

Cdlt,

KaliHD


HDKalit

Nombre de messages : 85
Date d'inscription : 10/01/2013

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Limite de R Empty Re: Limite de R

Message par Nik le Lun 25 Fév 2013 - 12:22

En revanche, et là ça peut jouer, est-ce qu'il charge/stocke de la même façon des données qu'on lui "donne depuis R" et des données qui viennent de l'extérieur (Excel,texte ou - et c'est mon cas - mySQL)?

En local, ça ne change pas grand chose. Par contre, si les données sont sur un server alors le temps ne dépend plus de R mais du taux de transfert du server à la machine, du tx d'occupation du server au moment de l'appel etc...


Nik

Nombre de messages : 1605
Date d'inscription : 23/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Limite de R Empty Re: Limite de R

Message par HDKalit le Lun 25 Fév 2013 - 14:11

Non c'est en local ... du coup je ne comprends pas ^^

Cdlt,

KaliHD

HDKalit

Nombre de messages : 85
Date d'inscription : 10/01/2013

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Limite de R Empty Re: Limite de R

Message par Contenu sponsorisé


Contenu sponsorisé


Revenir en haut Aller en bas

Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum