Les posteurs les plus actifs de la semaine
Aucun utilisateur |
Sujets les plus vus
application manuelle formule rég logistique
2 participants
Page 1 sur 1
application manuelle formule rég logistique
Bonjour à tous,
Je travaille actuellement sur un scoring pour un partenaire.
Le but est de trouver les personnes ayant un profil similaire à ses clients, en les cherchant sur une grosse table de 32 millions de lignes (260 colonnes).
En raison du timing serré, nous avions décidé de passer cela en machine learning, et d'appliquer le modèle directement dessus.
Mais la table de 32 millions de lignes n'est pas passée (trop lourde), et je me retrouve à avoir la liste des coefficients pour chaque variable et ma table des 32 millions montée sous SAS.
Je sais que je pourrais tout à fait faire la modélisation en SAS directement, mais de ce fait, je me suis posée la question de "Quelle formule appliquer dans SAS pour que, à partir des variables et des coefficients rattachés, je suis puisse obtenir mes probabilités?"
Dans le genre où, un jour, nous aurions une panne serveur et que SAS nous lâche pour la modélisation par exemple.
Pourriez-vous m'aider sur la formule? J'ai essayé e(X)/(1+e(X)) avec X l'équation linéaire obtenue par mes variables et coefficients, mais le résultat n'est pas concluant..
J'ai aussi vu des formules avec des alpha et k, mais je n'ai pas compris à quoi ça correspondait, ni où les trouver (si je retrouve le lien de cette lecture, je la posterai)
Merci pour votre aide
meuah59- Nombre de messages : 5
Date d'inscription : 09/07/2015
Re: application manuelle formule rég logistique
Si j'ai bien compris tu as réussi à faire un apprentissage mais pas une prédiction ?
Pourquoi ne pas prédire par paquet de 1 million si c'est trop gros ?
Pourquoi ne pas prédire par paquet de 1 million si c'est trop gros ?
FS- Nombre de messages : 163
Date d'inscription : 25/04/2008
Re: application manuelle formule rég logistique
Théoriquement, je pourrais le faire.
Mais ici, je me projette dans le cadre où je n'aurai plus SAS à un jour (ex : panne serveur), et que je dois demander à l'équipe informatique d'exécuter un ancien modèle sauvegardé en Excel (sous ce format :
T584 -4,0761
T624 3,00539
T404 2,85506
T403 -2,65979
T520 2,18487
T559 1,91753
T315 -1,65426
(REGION_ADM="Corse") -1,59699
T439 -1,20884
T326 -1,19832
....
) et d'appliquer le modèle avec leurs outils (genre SQL).
J'aimerais donc pouvoir dire à l'équipe info :: "appliquer sur chaque ligne de mon fichier cette formule, renvoyez-moi en sortie, l'identifiant ligne + la proba associée"
Sauf que je n'arrive pas à rédiger cette fameuse formule et faire en sorte d'obtenir des proba entre 0 et 1...
C'est plus une question d'avoir une solution de secours le jour où on en a besoin...
J'espère avoir été assez claire
Mais ici, je me projette dans le cadre où je n'aurai plus SAS à un jour (ex : panne serveur), et que je dois demander à l'équipe informatique d'exécuter un ancien modèle sauvegardé en Excel (sous ce format :
T584 -4,0761
T624 3,00539
T404 2,85506
T403 -2,65979
T520 2,18487
T559 1,91753
T315 -1,65426
(REGION_ADM="Corse") -1,59699
T439 -1,20884
T326 -1,19832
....
) et d'appliquer le modèle avec leurs outils (genre SQL).
J'aimerais donc pouvoir dire à l'équipe info :: "appliquer sur chaque ligne de mon fichier cette formule, renvoyez-moi en sortie, l'identifiant ligne + la proba associée"
Sauf que je n'arrive pas à rédiger cette fameuse formule et faire en sorte d'obtenir des proba entre 0 et 1...
C'est plus une question d'avoir une solution de secours le jour où on en a besoin...
J'espère avoir été assez claire
meuah59- Nombre de messages : 5
Date d'inscription : 09/07/2015
Re: application manuelle formule rég logistique
Oui c'est très clair
Donc deux solutions :
- Jeter SAS et utiliser des libraires libres, open source, multiplateforme et gratuite (oui je pense à scikit learn)
ou
- Vérifier que tu récupère bien les coefficients de ton modèle et pas les odds ratio !
la formule est il me semble très simple et il n'y pas de piège possible (et pourtant je suis très nul en math) si j'en crois la procédure de déploiement de wikipedia : https://fr.wikipedia.org/wiki/R%C3%A9gression_logistique#D.C3.A9ploiement
Donc deux solutions :
- Jeter SAS et utiliser des libraires libres, open source, multiplateforme et gratuite (oui je pense à scikit learn)
ou
- Vérifier que tu récupère bien les coefficients de ton modèle et pas les odds ratio !
la formule est il me semble très simple et il n'y pas de piège possible (et pourtant je suis très nul en math) si j'en crois la procédure de déploiement de wikipedia : https://fr.wikipedia.org/wiki/R%C3%A9gression_logistique#D.C3.A9ploiement
FS- Nombre de messages : 163
Date d'inscription : 25/04/2008
Re: application manuelle formule rég logistique
Merci de ta réponse.
Pour ta première solution, c'est un projet auquel on pense beaucoup, mais nécessite du déploiement chez nous.
Pour la deuxième solution, on conserve les "Analysis of Maximum Likelihood Estimates", donc on devrait pouvoir appliquer ça
C'est ce que j'ai essayé de faire, mais mes individus se retrouvent avec des notes à 20 000!
Pour ta première solution, c'est un projet auquel on pense beaucoup, mais nécessite du déploiement chez nous.
Pour la deuxième solution, on conserve les "Analysis of Maximum Likelihood Estimates", donc on devrait pouvoir appliquer ça
C'est ce que j'ai essayé de faire, mais mes individus se retrouvent avec des notes à 20 000!
meuah59- Nombre de messages : 5
Date d'inscription : 09/07/2015
Re: application manuelle formule rég logistique
A confirmer par un matheux mais je pense que tu récupère les bonnes valeurs.
Tu es sur de ton calcul ? tu as bien 260 coef + une constante (c'est pas un peu beaucoup 260 pour une simple régression logistique, tu as un modèle robuste ?). y'a éventuellement des problème d'arrondi mais ça me parait un peu gros quand même.
Tu es sur de ton calcul ? tu as bien 260 coef + une constante (c'est pas un peu beaucoup 260 pour une simple régression logistique, tu as un modèle robuste ?). y'a éventuellement des problème d'arrondi mais ça me parait un peu gros quand même.
FS- Nombre de messages : 163
Date d'inscription : 25/04/2008
Re: application manuelle formule rég logistique
En fait, j'ai 260 variables en entrée, mais je ne construis le modèle que sur les 15 premières.
meuah59- Nombre de messages : 5
Date d'inscription : 09/07/2015
Sujets similaires
» AIC pour comparer logistique et logistique conditionnelle
» formule du Q²
» Formule de Benzecri(ACM)
» la formule de calcul de la p-valeur
» A la recherche de LA formule statistique
» formule du Q²
» Formule de Benzecri(ACM)
» la formule de calcul de la p-valeur
» A la recherche de LA formule statistique
Page 1 sur 1
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum
|
|