Simulations avec SAS

Bonjour à tous,

Mon problème concerne SAS, mais également R.
Pour faire simple, je simule des données correspondant à des essais cliniques que j'analyse par la suite. Pour chaque scenario (1 scenario=1 combinaison de valeurs des paramètres de l'essai) je fais 5000 simulations. Pour 1 scenario, il faut environ 5 jours pour que le programme tourne. J'ai environ 60 scenarios, je vous laisse imaginer le temps qu'il faut. Avec R c'est à peine plus rapide...
J'ai essayé d'optimiser au maximum mes programmes, mais cela reste très long.

Est-ce une limite logicielle (inhérente à SAS) ou est-ce que l'ordi est pas suffisamment puissant (RAM 6Go, processeur 2.7GHz)? Est-ce que quelqu'un a rencontré le même problème? Que faire quand on ne dispose pas de "supercalculateurs"? (à part squatter les ordis de tous les collègues?)

Merci d'avance pour vos réponses

Ayana

Salut Ayana, dans ton cas ormi paralléliser tes calculs avec le package doSNOW pour R ou le module MP CONNECT de SAS je vois pas trop quoi te répondre. Forcément il y a une limite matériel mais je pense qu'elle est finalement infime dans ta situation.

Après un petit calcul on est quand même à 4166 années... pour réellement t'aider faudrait déjà savoir quel procédure SAS tu utilises voir même ta macro et voir si ça vient vraiment des machines ou de SAS...

Si vraiment il est primordial de faire autant de simulations il faut s'orienter vers la solution que toutes les entreprises prennent: acheter des heures de calcul dans un centre externe et préparer un code paralléliser sur un grand nombre de processeurs (dans ton cas 50k processeurs te ramènerais à 1 mois de temps de calcul).

Je te rassure, les 5 jours c'est pour 5000 simulations sur 1 scenario (et les plus longs). Avec 6 ordis, j'arrive à me débrouiller en 1 mois et demi... Mais bon, utiliser les postes de tout le service ce n'est pas optimal.

Cependant, je ne connaissais pas MP CONNECT donc je vais me pencher sur la question!!! Merci beaucoup

MP CONNECT n'est pas gratuit...le plaisir de SAS et ça va te prendre un temps d'adaptation pour créer un programme qui parallélise même si je peux voir de te filer un coup de main à ce sujet... en fait tu vas surement devoir toucher aux paramètres systèmes de tes PC ou voir avec un adiminstrateur, de plus tu as des PC avec combien de coeurs?

La solution la plus rapide pour paralléliser reste R.

Un module payant... vive SAS! On comprend mieux pourquoi de plus en plus de monde passe sous R. Je ferai donc mes prochaines simulations sous R en parallélisant. Mon PC doit avoir 4 coeurs il me semble.
Il ne reste plus qu'à prendre mon mal en patience ;-)

Merci pour ta réponse

Donc par PC tu peux aller 4 fois plus vite. Si besoin d'un exemple de code parallélisé sous R n'hésite pas à demander, je bosse pas mal sur la parallélisation de calcul sous SAS et R, je te recommande à nouveau le package doSNOW qui est le plus performant et le plus stable à mon sens.

Merci beaucoup , dès que j'ai un peu de temps, je m'y penche.
Tu utilises ça car tu as à gérer de grosses bases de données? des simulations?

J'utilise la parallélisation car je bosse dans une pharma, en gros quand je fais du multivarié je n'utilise pas les critères de modélisation mais le critère de gros bourrin (maximisation des taux de performances). Par exemple j'ai 20 variables, je fais toutes les combinaisons de 1 à 7 parmi 20 et je choisis celles qui m'arrangent, donc pour faire ça, car le nombre de combinaisons à explorer devient vite colossale, je parallélise mes algorithmes multivariés en leur faisant traiter les combinaisons 56 par 56 (j'ai un pool de ressources de 56 coeurs/processeurs au boulot).

Ce sont bien les méthodes du privé ça ;-) En tout cas, t'as bien de la chance d'avoir les ressources informatiques adéquates... Nous, à part pédaler plus vite...

Et bientôt on aura plus mwahahahahahahahahahah!!!

hmmmm.... désolé...

Sans maîtrise, la puissance n'est rien. Ca doit marcher pour les PC aussi, non? ;-)