Forum de Statistiques
Vous souhaitez réagir à ce message ? Créez un compte en quelques clics ou connectez-vous pour continuer.
Les posteurs les plus actifs de la semaine
Aucun utilisateur

Le Deal du moment : -50%
-50% Baskets Nike Dunk Low
Voir le deal
64.99 €

Simulations avec SAS

2 participants

Aller en bas

Simulations avec SAS Empty Simulations avec SAS

Message par Ayana Mar 22 Mai 2012 - 12:30

Bonjour à tous,

Mon problème concerne SAS, mais également R.
Pour faire simple, je simule des données correspondant à des essais cliniques que j'analyse par la suite. Pour chaque scenario (1 scenario=1 combinaison de valeurs des paramètres de l'essai) je fais 5000 simulations. Pour 1 scenario, il faut environ 5 jours pour que le programme tourne. J'ai environ 60 scenarios, je vous laisse imaginer le temps qu'il faut. Avec R c'est à peine plus rapide...
J'ai essayé d'optimiser au maximum mes programmes, mais cela reste très long.

Est-ce une limite logicielle (inhérente à SAS) ou est-ce que l'ordi est pas suffisamment puissant (RAM 6Go, processeur 2.7GHz)? Est-ce que quelqu'un a rencontré le même problème? Que faire quand on ne dispose pas de "supercalculateurs"? (à part squatter les ordis de tous les collègues?)

Merci d'avance pour vos réponses

Ayana
Ayana
Ayana

Nombre de messages : 550
Localisation : Londres
Date d'inscription : 18/08/2009

Revenir en haut Aller en bas

Simulations avec SAS Empty Re: Simulations avec SAS

Message par joyeux_lapin13 Mar 22 Mai 2012 - 12:34

Salut Ayana, dans ton cas ormi paralléliser tes calculs avec le package doSNOW pour R ou le module MP CONNECT de SAS je vois pas trop quoi te répondre. Forcément il y a une limite matériel mais je pense qu'elle est finalement infime dans ta situation.

Après un petit calcul on est quand même à 4166 années... pour réellement t'aider faudrait déjà savoir quel procédure SAS tu utilises voir même ta macro et voir si ça vient vraiment des machines ou de SAS...

Si vraiment il est primordial de faire autant de simulations il faut s'orienter vers la solution que toutes les entreprises prennent: acheter des heures de calcul dans un centre externe et préparer un code paralléliser sur un grand nombre de processeurs (dans ton cas 50k processeurs te ramènerais à 1 mois de temps de calcul).


Dernière édition par joyeux_lapin13 le Mar 22 Mai 2012 - 12:45, édité 1 fois
joyeux_lapin13
joyeux_lapin13

Nombre de messages : 1927
Age : 40
Localisation : Mayotte
Date d'inscription : 21/04/2010

https://lemakistatheux.wordpress.com/

Revenir en haut Aller en bas

Simulations avec SAS Empty Re: Simulations avec SAS

Message par Ayana Mar 22 Mai 2012 - 12:48

Je te rassure, les 5 jours c'est pour 5000 simulations sur 1 scenario (et les plus longs). Avec 6 ordis, j'arrive à me débrouiller en 1 mois et demi... Mais bon, utiliser les postes de tout le service ce n'est pas optimal.

Cependant, je ne connaissais pas MP CONNECT donc je vais me pencher sur la question!!! Merci beaucoup
Ayana
Ayana

Nombre de messages : 550
Localisation : Londres
Date d'inscription : 18/08/2009

Revenir en haut Aller en bas

Simulations avec SAS Empty Re: Simulations avec SAS

Message par joyeux_lapin13 Mar 22 Mai 2012 - 12:50

MP CONNECT n'est pas gratuit...le plaisir de SAS et ça va te prendre un temps d'adaptation pour créer un programme qui parallélise même si je peux voir de te filer un coup de main à ce sujet... en fait tu vas surement devoir toucher aux paramètres systèmes de tes PC ou voir avec un adiminstrateur, de plus tu as des PC avec combien de coeurs?

La solution la plus rapide pour paralléliser reste R.
joyeux_lapin13
joyeux_lapin13

Nombre de messages : 1927
Age : 40
Localisation : Mayotte
Date d'inscription : 21/04/2010

https://lemakistatheux.wordpress.com/

Revenir en haut Aller en bas

Simulations avec SAS Empty Re: Simulations avec SAS

Message par Ayana Mar 22 Mai 2012 - 13:08

Un module payant... vive SAS! On comprend mieux pourquoi de plus en plus de monde passe sous R. Je ferai donc mes prochaines simulations sous R en parallélisant. Mon PC doit avoir 4 coeurs il me semble.
Il ne reste plus qu'à prendre mon mal en patience ;-)

Merci pour ta réponse
Ayana
Ayana

Nombre de messages : 550
Localisation : Londres
Date d'inscription : 18/08/2009

Revenir en haut Aller en bas

Simulations avec SAS Empty Re: Simulations avec SAS

Message par joyeux_lapin13 Mar 22 Mai 2012 - 13:16

Donc par PC tu peux aller 4 fois plus vite. Si besoin d'un exemple de code parallélisé sous R n'hésite pas à demander, je bosse pas mal sur la parallélisation de calcul sous SAS et R, je te recommande à nouveau le package doSNOW qui est le plus performant et le plus stable à mon sens.
joyeux_lapin13
joyeux_lapin13

Nombre de messages : 1927
Age : 40
Localisation : Mayotte
Date d'inscription : 21/04/2010

https://lemakistatheux.wordpress.com/

Revenir en haut Aller en bas

Simulations avec SAS Empty Re: Simulations avec SAS

Message par Ayana Mar 22 Mai 2012 - 13:17

Merci beaucoup , dès que j'ai un peu de temps, je m'y penche.
Tu utilises ça car tu as à gérer de grosses bases de données? des simulations?
Ayana
Ayana

Nombre de messages : 550
Localisation : Londres
Date d'inscription : 18/08/2009

Revenir en haut Aller en bas

Simulations avec SAS Empty Re: Simulations avec SAS

Message par joyeux_lapin13 Mar 22 Mai 2012 - 13:37

J'utilise la parallélisation car je bosse dans une pharma, en gros quand je fais du multivarié je n'utilise pas les critères de modélisation mais le critère de gros bourrin (maximisation des taux de performances). Par exemple j'ai 20 variables, je fais toutes les combinaisons de 1 à 7 parmi 20 et je choisis celles qui m'arrangent, donc pour faire ça, car le nombre de combinaisons à explorer devient vite colossale, je parallélise mes algorithmes multivariés en leur faisant traiter les combinaisons 56 par 56 (j'ai un pool de ressources de 56 coeurs/processeurs au boulot).
joyeux_lapin13
joyeux_lapin13

Nombre de messages : 1927
Age : 40
Localisation : Mayotte
Date d'inscription : 21/04/2010

https://lemakistatheux.wordpress.com/

Revenir en haut Aller en bas

Simulations avec SAS Empty Re: Simulations avec SAS

Message par Ayana Mar 22 Mai 2012 - 13:41

Ce sont bien les méthodes du privé ça ;-) En tout cas, t'as bien de la chance d'avoir les ressources informatiques adéquates... Nous, à part pédaler plus vite... Very Happy
Ayana
Ayana

Nombre de messages : 550
Localisation : Londres
Date d'inscription : 18/08/2009

Revenir en haut Aller en bas

Simulations avec SAS Empty Re: Simulations avec SAS

Message par joyeux_lapin13 Mar 22 Mai 2012 - 13:42

Et bientôt on aura plus mwahahahahahahahahahah!!!

hmmmm.... désolé...
joyeux_lapin13
joyeux_lapin13

Nombre de messages : 1927
Age : 40
Localisation : Mayotte
Date d'inscription : 21/04/2010

https://lemakistatheux.wordpress.com/

Revenir en haut Aller en bas

Simulations avec SAS Empty Re: Simulations avec SAS

Message par Ayana Mar 22 Mai 2012 - 15:13

Sans maîtrise, la puissance n'est rien. Ca doit marcher pour les PC aussi, non? ;-)
Ayana
Ayana

Nombre de messages : 550
Localisation : Londres
Date d'inscription : 18/08/2009

Revenir en haut Aller en bas

Simulations avec SAS Empty Re: Simulations avec SAS

Message par Contenu sponsorisé


Contenu sponsorisé


Revenir en haut Aller en bas

Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum