Forum de Statistiques
Vous souhaitez réagir à ce message ? Créez un compte en quelques clics ou connectez-vous pour continuer.
Les posteurs les plus actifs de la semaine
Aucun utilisateur

Le deal à ne pas rater :
Display One Piece Card Game Japon OP-08 – Two Legends : où la ...
Voir le deal

application manuelle formule rég logistique

2 participants

Aller en bas

logistique - application manuelle formule rég logistique Empty application manuelle formule rég logistique

Message par meuah59 Jeu 19 Nov 2015 - 14:35


Bonjour à tous,

Je travaille actuellement sur un scoring pour un partenaire.
Le but est de trouver les personnes ayant un profil similaire à ses clients, en les cherchant sur une grosse table de 32 millions de lignes (260 colonnes).
En raison du timing serré, nous avions décidé de passer cela en machine learning, et d'appliquer le modèle directement dessus.
Mais la table de 32 millions de lignes n'est pas passée (trop lourde), et je me retrouve à avoir la liste des coefficients pour chaque variable et ma table des 32 millions montée sous SAS.
Je sais que je pourrais tout à fait faire la modélisation en SAS directement, mais de ce fait, je me suis posée la question de "Quelle formule appliquer dans SAS pour que, à partir des variables et des coefficients rattachés, je suis puisse obtenir mes probabilités?"
Dans le genre où, un jour, nous aurions une panne serveur et que SAS nous lâche pour la modélisation par exemple.
Pourriez-vous m'aider sur la formule? J'ai essayé e(X)/(1+e(X)) avec X l'équation linéaire obtenue par mes variables et coefficients, mais le résultat n'est pas concluant..
J'ai aussi vu des formules avec des alpha et k, mais je n'ai pas compris à quoi ça correspondait, ni où les trouver (si je retrouve le lien de cette lecture, je la posterai)
Merci pour votre aide

meuah59

Nombre de messages : 5
Date d'inscription : 09/07/2015

Revenir en haut Aller en bas

logistique - application manuelle formule rég logistique Empty Re: application manuelle formule rég logistique

Message par FS Jeu 19 Nov 2015 - 15:26

Si j'ai bien compris tu as réussi à faire un apprentissage mais pas une prédiction ?
Pourquoi ne pas prédire par paquet de 1 million si c'est trop gros ?

FS

Nombre de messages : 163
Date d'inscription : 25/04/2008

Revenir en haut Aller en bas

logistique - application manuelle formule rég logistique Empty Re: application manuelle formule rég logistique

Message par meuah59 Jeu 19 Nov 2015 - 15:43

Théoriquement, je pourrais le faire.
Mais ici, je me projette dans le cadre où je n'aurai plus SAS à un jour (ex : panne serveur), et que je dois demander à l'équipe informatique d'exécuter un ancien modèle sauvegardé en Excel (sous ce format :
T584 -4,0761
T624 3,00539
T404 2,85506
T403 -2,65979
T520 2,18487
T559 1,91753
T315 -1,65426
(REGION_ADM="Corse") -1,59699
T439 -1,20884
T326 -1,19832
....
) et d'appliquer le modèle avec leurs outils (genre SQL).

J'aimerais donc pouvoir dire à l'équipe info :: "appliquer sur chaque ligne de mon fichier cette formule, renvoyez-moi en sortie, l'identifiant ligne + la proba associée"
Sauf que je n'arrive pas à rédiger cette fameuse formule et faire en sorte d'obtenir des proba entre 0 et 1...

C'est plus une question d'avoir une solution de secours le jour où on en a besoin...

J'espère avoir été assez claire Smile

meuah59

Nombre de messages : 5
Date d'inscription : 09/07/2015

Revenir en haut Aller en bas

logistique - application manuelle formule rég logistique Empty Re: application manuelle formule rég logistique

Message par FS Jeu 19 Nov 2015 - 16:12

Oui c'est très clair Smile
Donc deux solutions :
- Jeter SAS et utiliser des libraires libres, open source, multiplateforme et gratuite (oui je pense à scikit learn) Smile
ou
- Vérifier que tu récupère bien les coefficients de ton modèle et pas les odds ratio !
la formule est il me semble très simple et il n'y pas de piège possible (et pourtant je suis très nul en math) si j'en crois la procédure de déploiement de wikipedia : https://fr.wikipedia.org/wiki/R%C3%A9gression_logistique#D.C3.A9ploiement

FS

Nombre de messages : 163
Date d'inscription : 25/04/2008

Revenir en haut Aller en bas

logistique - application manuelle formule rég logistique Empty Re: application manuelle formule rég logistique

Message par meuah59 Jeu 19 Nov 2015 - 16:25

Merci de ta réponse.
Pour ta première solution, c'est un projet auquel on pense beaucoup, mais nécessite du déploiement chez nous.
Pour la deuxième solution, on conserve les "Analysis of Maximum Likelihood Estimates", donc on devrait pouvoir appliquer ça
C'est ce que j'ai essayé de faire, mais mes individus se retrouvent avec des notes à 20 000! Shocked

meuah59

Nombre de messages : 5
Date d'inscription : 09/07/2015

Revenir en haut Aller en bas

logistique - application manuelle formule rég logistique Empty Re: application manuelle formule rég logistique

Message par FS Jeu 19 Nov 2015 - 16:44

A confirmer par un matheux mais je pense que tu récupère les bonnes valeurs.
Tu es sur de ton calcul ? tu as bien 260 coef + une constante (c'est pas un peu beaucoup 260 pour une simple régression logistique, tu as un modèle robuste ?). y'a éventuellement des problème d'arrondi mais ça me parait un peu gros quand même.

FS

Nombre de messages : 163
Date d'inscription : 25/04/2008

Revenir en haut Aller en bas

logistique - application manuelle formule rég logistique Empty Re: application manuelle formule rég logistique

Message par meuah59 Ven 20 Nov 2015 - 10:09

En fait, j'ai 260 variables en entrée, mais je ne construis le modèle que sur les 15 premières.

meuah59

Nombre de messages : 5
Date d'inscription : 09/07/2015

Revenir en haut Aller en bas

logistique - application manuelle formule rég logistique Empty Re: application manuelle formule rég logistique

Message par Contenu sponsorisé


Contenu sponsorisé


Revenir en haut Aller en bas

Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum