"bonnes variables" d'un modèle : AIC ou pvalues?

bonjour,
je m'interroge sur les validités respectives de la fonction "step" de R, qui, de manière itérative, identifie les variables qui ont un effet significatif sur un modèle de régression logistique en se basant sur la valeur de l'AIC, et le fait de considérer les pvalues des variables du modèle (qu'on obtient avec summary(modèle).
Je suis en effet confrontée au cas de figure où la fonction step me suggère de conserver une variable dont la pvalue est de 13 %.
Du coup je ne sais pas trop si je suis "en droit" de conserver cette variable, ou si sa non significativité via la pvalue pourrait m'être reprochée dans mon étude.
Merci d'avance si vous disposez d'éléments sur ce sujet !

step() n'utilise pas les p-values pour sélectionner les variables, et - de fait - la p-value d'une variable dépend de la présence ou pas d'autres dans le modèle. Du coup, il est même en fait préférable de ne pas trop regarder les p-values dans la procédure de sélection.

Une fois que la procédure aboutie à un modèle dit "parcimonieux", et seulement après, on peut alors faire un check des variables qui restent, selon, effectivement cette fois-ci et au besoin, sur la base des p-values.

Je n'ai jamais eu de problème en procédant de la sorte.

HTH, Eric.

Merci pour cette réponse. Cette variable sélectionnée via la fonction step montre un effet assez modéré en utilisant la fonction drop1 et son odd ratio est par ailleurs relativement faible (0,55). Toutefois, le sens de son effet reste tout à fait cohérent et fait émerger des explications qui me semblent intéressantes. Faut-il dans ce cas, plutôt garder ces interprétations sous le coude et le mettre au bénéfice d'une compréhension globale des phénomènes étudiés, ou vous semble-t-il justifiable de conserver cette variable et de l'expliquer en tant que tel ?
Ou rester sur la méthode que vous préconisez :
1 : passer l'ensemble des variables explicatives à la moulinette du "step"
2 : parmi les variables qui ont été sélectionnées ainsi, ne conserver que celles dont la pvalue est significative.

Je me permets une petit digression sur le seuil de significativité généralement admis de 5%. Je travaille avec des variables qualitatives, qui me semblent (peut-être à tort), plus soumises à de la dispersion, tout au moins dans mon cas d'étude. Je me demande dans quelle mesure considérer un seuil de 10 ou 15 % serait critiquable, car au vu de la complexité des paramètres étudiés avancer une tendance au seuil de 10 à 15% de marge d'erreur ne m’apparait pas si aberrant. Mais je suis novice dans le domaine statistique.

La règle de 5% est une règle arbitraire utilisé sur l'ensemble de la planète. Ca n'est qu'arbitraire. Deux points ici :

1) Dans la recherche du modèle le plus parcimonieux, avec des fonctions comme step(), etc., on ne prend généralement pas un seuil de 5% qui s'avère trop strict. En revanche (comme je l'ai déjà dit), on le garde généralement pour la fin.

2) La décision d'utiliser 5% ou non est votre responsabilité (moi aussi, dans ma carrière, j'ai déjà pris des conclusions à 10 ou 15%, en étant conscient de ce qu'impliquait de prendre plus de risque). A vous de voir. Cependant, si vous allez chez votre médecin et qu'il vous prescrit un médicaments qui à 15 % de risque de vous tuer, vous accepteriez ?

HTH, Eric.

bonjour,
je pense qu'il faut aussi penser le seuil selon le contexte. Nous sommes bien d'accord que pour un médicament, une incertitude forte est inacceptable. Il faut aussi être réaliste : je travaille dans le domaine des sciences sociales et j'ai bien conscience que mes données sont elles-mêmes soumises à variabilité car je travaille avec des humains, en environnement complexe et non contrôlé... Ce n'est évidemment pas une excuse pour manquer de rigueur et ce n'est pas mon intention... Mais se targuer de la même précision qu'une étude en laboratoire me semblerait un peu présomptueux. A la lecture de vos conseils, je pense cibler en priorité mes résultats au seuil de 5% et aborder les résultats aux seuil de 10-15% en les signalant comme des "tendances", et m'en servir pour enrichir les interprétations des variables dites "sûres". Merci pour vos retours.

Je travaille pour ma part sur des insectes, en environnement également complexe et non contrôlé (encore plus que vous, je pense). Je reste sur un seuil de 5% pratiquement tout le temps.

Mais encore une fois, tout ceci relève de votre décision. C'est vous qui prenez les "responsabilités" de la prise de risque dans l'interprétation de vos résultats, et c'est la communauté scientifique ou professionnelle à laquelle vous vous adressez qui jugera du bien-fondé de ce que vous faites.

Cordialement, Eric.

Eric Wajnberg a écrit:Je travaille pour ma part sur des insectes, en environnement également complexe et non contrôlé (encore plus que vous, je pense).

Hé bien je ne sais pas si les insectes prennent aussi des décisions parfois contradictoires ou qui n'apparaissent pas comme étant les plus optimales face aux évolutions de leur environnement

Bonjour,

je trouve toujours étrange de mélanger d'une part la stepwise sur le critère d'AIC avec des tests statistiques. Les logiques derrières sont complètement différentes. D'une part on travaille sur l'AIC et la théorie de l'information et d'autre part on regarde si l'effet d'une variable est significatif par rapport à test.

J'aurai tendance à partir soit sur l'une des approches soit sur l'autre.
Après la stepwise est souvent critiquée par les auteurs parce qu'elle est connue pour être conservatrice, pour avoir tendance à conserver des prédicteurs qui sont peut informatifs. Si tu restes sur de l'AIC alors je pense que ce que propose Burnham & Anderson est vraiment intéressant, en regardant le "poids" de chaque variable, soit pour ne sélectionner que celles avec un certains poids, soit pour faire du "model averaging".

droopy

Étant novice en statistique, j'avance pas à pas. Mais je n'ai pas l'impression que les deux soient contradictoires : une variable peut avoir un effet significatif, sans que cet effet soit pour autant d'importance par rapport aux autres variables testées. C'est pourquoi j'ai observé les deux. J'utilise aussi la fonction "drop1"... Peut-être un travers de débutant de vouloir mettre en œuvre le peu de "techniques" qu'on découvre
Merci en tout cas pour le point de vue, je vais regarder du côté de la référence citée.

Volivoile a écrit:Hé bien je ne sais pas si les insectes prennent aussi des décisions parfois contradictoires ou qui n'apparaissent pas comme étant les plus optimales face aux évolutions de leur environnement

Vous tombez exactement sur mon sujet de recherche sur lequel je bosse depuis plusieurs décennies ! Les insectes se comportent généralement de manière optimale vis-à-vis de leur environnement, sauf quelques exceptions, qu'on arrive généralement à expliquer.

Cordialement, Eric.

Eric Wajnberg a écrit:

Volivoile a écrit:Hé bien je ne sais pas si les insectes prennent aussi des décisions parfois contradictoires ou qui n'apparaissent pas comme étant les plus optimales face aux évolutions de leur environnement

Vous tombez exactement sur mon sujet de recherche sur lequel je bosse depuis plusieurs décennies ! Les insectes se comportent généralement de manière optimale vis-à-vis de leur environnement, sauf quelques exceptions, qu'on arrive généralement à expliquer.

Cordialement, Eric.

Les arthropodes seront certainement toujours là bien après nous... Nous pourrions compenser notre manque de connexion à l'environnement par un comportement éthique vis à vis du vivant, mais non...
Les insectes sont dans un registre "réponse à un signal", qui expliquerait cette optimisation, ou c'est bien plus complexe ?
Vous avez en tout cas un thème de recherche bien intéressant.

Volivoile a écrit:Les arthropodes seront certainement toujours là bien après nous... Nous pourrions compenser notre manque de connexion à l'environnement par un comportement éthique vis à vis du vivant, mais non...
Les insectes sont dans un registre "réponse à un signal", qui expliquerait cette optimisation, ou c'est bien plus complexe ?
Vous avez en tout cas un thème de recherche bien intéressant.

Les insectes ont des stratégies comportementales très élaborées (et souvent très ingénieuses). Ils sont même parfois capables de faire des choses que nous ne savons pas faire. Par exemple, ceux sur lesquels je travaille sont capables de choisir le sexe de leur descendants, et produisent donc des sex ratios bien plus précises que celles prédites par une loi binomiale (que l'on aurait si le sexe des descendants était tiré à chaque fois à pile ou face), etc.

Eric.

Ce qui doit être très complexe, c'est de déterminer les facteurs environnementaux, ou provenant de l'interaction entre insectes eux-mêmes, qui déterminent ou orientent ces "choix" (et bien entendu les interactions d'interactions...)
De même pour cette notion de stratégie qui sous-tend, chez l'humain, une planification selon des paramètres rationnels pris au sens large... qu'en est-il chez les insectes ? Vous travaillez sur quoi comme insectes ?

Cette discussion sort du sujet de la discussion sur ce forum. Si vraiment ceci vous intéresse, vous pouvez toujours taper mon nom sur Google. je suis le premier à sortir en tête des réponses.

Cordialement, Eric.

Eric Wajnberg a écrit:Cette discussion sort du sujet de la discussion sur ce forum. Si vraiment ceci vous intéresse, vous pouvez toujours taper mon nom sur Google. je suis le premier à sortir en tête des réponses.
Cordialement, Eric.

heu oui effectivement....