application manuelle formule rég logistique

Voir le sujet précédent Voir le sujet suivant Aller en bas

application manuelle formule rég logistique

Message par meuah59 le Jeu 19 Nov 2015 - 14:35


Bonjour à tous,

Je travaille actuellement sur un scoring pour un partenaire.
Le but est de trouver les personnes ayant un profil similaire à ses clients, en les cherchant sur une grosse table de 32 millions de lignes (260 colonnes).
En raison du timing serré, nous avions décidé de passer cela en machine learning, et d'appliquer le modèle directement dessus.
Mais la table de 32 millions de lignes n'est pas passée (trop lourde), et je me retrouve à avoir la liste des coefficients pour chaque variable et ma table des 32 millions montée sous SAS.
Je sais que je pourrais tout à fait faire la modélisation en SAS directement, mais de ce fait, je me suis posée la question de "Quelle formule appliquer dans SAS pour que, à partir des variables et des coefficients rattachés, je suis puisse obtenir mes probabilités?"
Dans le genre où, un jour, nous aurions une panne serveur et que SAS nous lâche pour la modélisation par exemple.
Pourriez-vous m'aider sur la formule? J'ai essayé e(X)/(1+e(X)) avec X l'équation linéaire obtenue par mes variables et coefficients, mais le résultat n'est pas concluant..
J'ai aussi vu des formules avec des alpha et k, mais je n'ai pas compris à quoi ça correspondait, ni où les trouver (si je retrouve le lien de cette lecture, je la posterai)
Merci pour votre aide

meuah59

Nombre de messages : 5
Date d'inscription : 09/07/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: application manuelle formule rég logistique

Message par FS le Jeu 19 Nov 2015 - 15:26

Si j'ai bien compris tu as réussi à faire un apprentissage mais pas une prédiction ?
Pourquoi ne pas prédire par paquet de 1 million si c'est trop gros ?

FS

Nombre de messages : 163
Date d'inscription : 25/04/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: application manuelle formule rég logistique

Message par meuah59 le Jeu 19 Nov 2015 - 15:43

Théoriquement, je pourrais le faire.
Mais ici, je me projette dans le cadre où je n'aurai plus SAS à un jour (ex : panne serveur), et que je dois demander à l'équipe informatique d'exécuter un ancien modèle sauvegardé en Excel (sous ce format :
T584 -4,0761
T624 3,00539
T404 2,85506
T403 -2,65979
T520 2,18487
T559 1,91753
T315 -1,65426
(REGION_ADM="Corse") -1,59699
T439 -1,20884
T326 -1,19832
....
) et d'appliquer le modèle avec leurs outils (genre SQL).

J'aimerais donc pouvoir dire à l'équipe info :: "appliquer sur chaque ligne de mon fichier cette formule, renvoyez-moi en sortie, l'identifiant ligne + la proba associée"
Sauf que je n'arrive pas à rédiger cette fameuse formule et faire en sorte d'obtenir des proba entre 0 et 1...

C'est plus une question d'avoir une solution de secours le jour où on en a besoin...

J'espère avoir été assez claire Smile

meuah59

Nombre de messages : 5
Date d'inscription : 09/07/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: application manuelle formule rég logistique

Message par FS le Jeu 19 Nov 2015 - 16:12

Oui c'est très clair Smile
Donc deux solutions :
- Jeter SAS et utiliser des libraires libres, open source, multiplateforme et gratuite (oui je pense à scikit learn) Smile
ou
- Vérifier que tu récupère bien les coefficients de ton modèle et pas les odds ratio !
la formule est il me semble très simple et il n'y pas de piège possible (et pourtant je suis très nul en math) si j'en crois la procédure de déploiement de wikipedia : https://fr.wikipedia.org/wiki/R%C3%A9gression_logistique#D.C3.A9ploiement

FS

Nombre de messages : 163
Date d'inscription : 25/04/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: application manuelle formule rég logistique

Message par meuah59 le Jeu 19 Nov 2015 - 16:25

Merci de ta réponse.
Pour ta première solution, c'est un projet auquel on pense beaucoup, mais nécessite du déploiement chez nous.
Pour la deuxième solution, on conserve les "Analysis of Maximum Likelihood Estimates", donc on devrait pouvoir appliquer ça
C'est ce que j'ai essayé de faire, mais mes individus se retrouvent avec des notes à 20 000! Shocked

meuah59

Nombre de messages : 5
Date d'inscription : 09/07/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: application manuelle formule rég logistique

Message par FS le Jeu 19 Nov 2015 - 16:44

A confirmer par un matheux mais je pense que tu récupère les bonnes valeurs.
Tu es sur de ton calcul ? tu as bien 260 coef + une constante (c'est pas un peu beaucoup 260 pour une simple régression logistique, tu as un modèle robuste ?). y'a éventuellement des problème d'arrondi mais ça me parait un peu gros quand même.

FS

Nombre de messages : 163
Date d'inscription : 25/04/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: application manuelle formule rég logistique

Message par meuah59 le Ven 20 Nov 2015 - 10:09

En fait, j'ai 260 variables en entrée, mais je ne construis le modèle que sur les 15 premières.

meuah59

Nombre de messages : 5
Date d'inscription : 09/07/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: application manuelle formule rég logistique

Message par Contenu sponsorisé Aujourd'hui à 18:10


Contenu sponsorisé


Revenir en haut Aller en bas

Voir le sujet précédent Voir le sujet suivant Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum