Limite de R

Bonjour,
Je souhaiterais savoir quelles sont les limites de R. Parce que je dois faire tourner une régression sur des millions de lignes.
Si je peux pas faire tourner mon jeu de données sur R, quel serait le meilleur choix de logiciel?
Est ce que quelqu'un peut m'aider?

C'est une question complexe, qui dépend de R, mais aussi de la version de R que tu utilises, de l'os sur lequel tu travailles et bien sur des caractéristiques de ton ordi.

Le pire cauchemar de R se sont les boucles imbriquées (les unes dans les autres), au bout de 3 boucles ou plus, ça le rend hyper long , alors si tu dois avoir recours à des boucles imbriquées, mieux vaut éviter.
Mais on n'oublie pas que R c'est un logiciel qui travaille sous forme matricielle, ce qui peut nous aider à éviter les boucles. Mais si tu n'as pas trop de boucles, la taille des données ce n'est pas un problème pour R, cela dépend de ton ordinateur.
Je croix que le max qu'on puisse attendre d'un logiciel gratuit ^^
Pour les logiciels les plus puissants, je te conseille Matlab *ça c'est de costaud*

Merci de vos réponses, j'avais lu dans un article (je me rappelle plus où) que R avait une limite de 400 000 lignes et 10 minutes de temps de calcul.
C'est vrai?

non, exposée comme ça c'est une grosse connerie.

Pour le nombre de lignes, je ne sais pas, mais en tout cas, je fais des simulations avec R qui durent en général plusieurs jours, et je n'ai jamais eu de problème.

Ayana

Merci beaucoup pour vos réponses cela me rassure pour mes calculs

Sinon pense aussi à l’échantillonnage.
Si c'est pour l'apprentissage, c'est souvent la solution la plus simple et la plus pratique pour peu que tes données ne sois pas trop merdique.

Si c'est pour la prédiction, quelque soit le langage y'a toujours moyen de faire ça par block de millier de ligne, plutôt que se trimballer une énorme matrice.

FS a écrit:Sinon pense aussi à l’échantillonnage.
Si c'est pour l'apprentissage, c'est souvent la solution la plus simple et la plus pratique pour peu que tes données ne sois pas trop merdique.

Si c'est pour la prédiction, quelque soit le langage y'a toujours moyen de faire ça par block de millier de ligne, plutôt que se trimballer une énorme matrice.

+1!

Pareil qu'Ayana, je fais énormément de process multi-core ou le but c'est d'en faire chier un max à R et le garçon tient drôlement efficacement la route.

Après je pense qu'il y a forcément des limites pour un logiciel non commercial mais concernant R, pour les atteindre, faut franchement le vouloir à mon humble avis.

joyeux_lapin13 a écrit:Pareil qu'Ayana, je fais énormément de process multi-core ou le but c'est d'en faire chier un max à R et le garçon tient drôlement efficacement la route.

Après je pense qu'il y a forcément des limites pour un logiciel non commercial mais concernant R, pour les atteindre, faut franchement le vouloir à mon humble avis.

Un truc simple (qui ne prend pas beaucoup de temps) est de lui charger beaucoup beaucoup de lignes et de variables et de lui demander un bête "summary" des données importées.
Et là le petit fait clairement la gueule au dessus d'un certain nombre de lignes.

Après j'ai pris l'option d'échantillonner avant de charger mes données.

HDKalit a écrit:

joyeux_lapin13 a écrit:Pareil qu'Ayana, je fais énormément de process multi-core ou le but c'est d'en faire chier un max à R et le garçon tient drôlement efficacement la route.

Après je pense qu'il y a forcément des limites pour un logiciel non commercial mais concernant R, pour les atteindre, faut franchement le vouloir à mon humble avis.

Un truc simple (qui ne prend pas beaucoup de temps) est de lui charger beaucoup beaucoup de lignes et de variables et de lui demander un bête "summary" des données importées.
Et là le petit fait clairement la gueule au dessus d'un certain nombre de lignes.

Après j'ai pris l'option d'échantillonner avant de charger mes données.

Encore une fois tout ça n'a pas de sens. Il y a tellement de paramètres qui interviennent, le nombre de lignes, de colonnes, la ram, le processeur, l'os ... la manière dont tu codes les trucs, bre tout ça n'a pas trop de sens à mon avis.

droopy a écrit:

HDKalit a écrit:

joyeux_lapin13 a écrit:Pareil qu'Ayana, je fais énormément de process multi-core ou le but c'est d'en faire chier un max à R et le garçon tient drôlement efficacement la route.

Après je pense qu'il y a forcément des limites pour un logiciel non commercial mais concernant R, pour les atteindre, faut franchement le vouloir à mon humble avis.

Un truc simple (qui ne prend pas beaucoup de temps) est de lui charger beaucoup beaucoup de lignes et de variables et de lui demander un bête "summary" des données importées.
Et là le petit fait clairement la gueule au dessus d'un certain nombre de lignes.

Après j'ai pris l'option d'échantillonner avant de charger mes données.

Encore une fois tout ça n'a pas de sens. Il y a tellement de paramètres qui interviennent, le nombre de lignes, de colonnes, la ram, le processeur, l'os ... la manière dont tu codes les trucs, bre tout ça n'a pas trop de sens à mon avis.

Hey droopy!

Justement là je ne parlais pas de code puisque je te parles uniquement de charger une table de données (mettons 300 000 lignes pour 6 colonnes).
Après tu lui demande un "résumé" (fonction summary), donc là encore tu ne codes pas.

Et bien avec ma machine (os: linux, disque 150 GO ssd, processeur 4 cœur à je sais pas combien de GHz, une RAM de 8 Go - ou 16 je sais plus) c'est lent.

Et encore une fois ma seule ligne de "code" c'est de faire summary(data) une fois que mes données sont chargées

Cdtl,

KaliHD

pour moi ça prend 0.18s pour 400 000 lignes et 6 colonnes. Donc pas lent. Encore une fois tout est relatif et tout dépend de ce que tu cherches à faire et de comment tu le fais.

droopy a écrit:pour moi ça prend 0.18s pour 400 000 lignes et 6 colonnes. Donc pas lent. Encore une fois tout est relatif et tout dépend de ce que tu cherches à faire et de comment tu le fais.

Arf.
J'avoue que j'ai du mal à saisir ... la machine est censée être très bonne, je charge seulement les données puis un simple résumé stat dessus (et un petit boxplot aussi je viens de m'en rendre compte ).
Mais quoi qu'il arrive il "rame" pour afficher un simple résumé donc rien de bien "folichon" (la preuve tu le fais en 0.18 sec).

En revanche, et là ça peut jouer, est-ce qu'il charge/stocke de la même façon des données qu'on lui "donne depuis R" et des données qui viennent de l'extérieur (Excel,texte ou - et c'est mon cas - mySQL)?

Encore merci pour ce topic qui me fait me poser de bonnes questions

Cdlt,

KaliHD

En revanche, et là ça peut jouer, est-ce qu'il charge/stocke de la même façon des données qu'on lui "donne depuis R" et des données qui viennent de l'extérieur (Excel,texte ou - et c'est mon cas - mySQL)?

En local, ça ne change pas grand chose. Par contre, si les données sont sur un server alors le temps ne dépend plus de R mais du taux de transfert du server à la machine, du tx d'occupation du server au moment de l'appel etc...

Non c'est en local ... du coup je ne comprends pas ^^

Cdlt,

KaliHD