p-value ou intervalle de confiance

Bonjour, ma question est assez générale, mais elle peut intéresser certains. Je suis en train d'interpréter certains résultats obtenus lors de mes études et en appliquant différentes procédures de sélection de modèles statistiques j'obtiens différents "scénarios" selon que je considère les intervalles de confiance provenant d'un "model averaging" basé sur l'AIC (ou AICc, BIC,...) ou une procédure de "stepwise regression" qui se base principalement sur une p-value.
Les deux écoles se défendent, mais c'est assez embrouillant, même en cherchant à interpréter les résultats en se basant sur son "bon sens".
Alors j'aurais aimé lancer le débat sur votre avis et pourquoi vous pensez que votre méthode se justifie, afin que je puisse me faire une opinion un peu plus critique, sachant que personne n'est totalement dans le vrai ou le faux . Eventuellement si quelqu'un connaît un bon article sur le sujet, je serait aussi très intéressée.

Merci

Salut,

Il y a une abondante littérature sur la question. Mais c'est toujours intéressant d'en discuter pour voir l'avancée des idées dans la communauté.

Alors je vais commencer par ne pas être d'accord avec toi . La sélection de modèle basée sur une p-value ne se défend pas du tout face à une sélection de modèle sur critère d'information. Qqs raisons parmi les plus importantes :
- le test associé à la p-value est toujours un peu stupide : il s'agit de tester si le paramètre est différent de 0 et pas du tout s'il a une importance dans le processus étudié. Or ce qui nous intéresse c'est bien l'amplitude de réaction et non de savoir si une statistique est ou non supérieure à une valeur donnée.
- la sélection n'est pas constante car elle dépend du seuil fixé qui lui n'a aucune justification théorique ni d'ailleurs aucun intérêt pratique dans le modèle obtenu (rappelons que les vocabulaires tels que "très significatifs" n'ont en fait aucun sens : c'est significatif ou pas, il n'y a pas de degré de significativité)
- Les sélection type stepwise outre le fait qu'elles représentent l'archétype de la statistique aveugle (donc peu recommandable) aboutissent la plupart du temps à des modèles surparamétrés, vide de sens, et dont le taux d'erreur de type I peut être important. Sans parler du coup de la faiblesse de l'inférence de tels modèles due à l'absence de prise en compte de l'incertitude sur le modèle sélectionné.

Voilà ce qui pour moi doit définitivement écarter les stepwise and co de la littérature scientifique. Il y a déjà quelques articles qui dénoncent l'utilisation actuelle de ces procédures. IL s'agit en fait à présent d'une utilisation par méconnaissance du reste plus que d'une utilisation justifiée et justifiable.

Concernant la comparaison AIC/BIC, Burnham et Anderson (2002, et voir leur article de 2004 également), l'ont déjà pas mal parcourue.
Il s'agit principalement d'une différence de philosophie dans le porcessus de sélection de modèle. L'AIC (voir aussi le TIC) est basé sur une estimation de la distance de Kullback-Leibler qui mesure l'écart entre la "vérité" et le modèle considéré. Etant donné qu'on sait qu'on ne pourra pas avoir la vraie distance, la vérité étant impossible à atteindre, on parle bien d'estimation. Le résultat fondamental d'Akaike est d'avoir montré qu'il existe un lien entre la log-vraisemblance d'un modèle et l'estimateur de la distance de KL. C'est ce lien qu'on utilise pour calculer l'AIC. L'AIC vise à mettre en évidence le "meilleur" modèle suivant les données fournies.
Le BIC n'est pas un estimateur de la distance de KL. Il se base sur des propriétés asymptotiques (que je ne saurais détailler ) et a une différence philosophique fondamentale est que typiquement il recherche à estimer le vrai modèle (celui qui génère la donnée). Il est bien établi que ce vrai modèle n'a pas besoin de se trouver dans l'ensemble de modèles candidat à la sélection par BIC.

Donc le choix entre AIC/BIC relève principalement d'une question philosophique. On notera que l'AIC peut être considéré comme un estimateur bayésien des probabilités à posteriori (alors que pour le BIC c'est plutôt admis...ironie du sort) donc il n'est vraiment pas question de choix entre approche fréquentiste et Baysienne.

Pour ma part je m'oriente plutôt vers l'AIC et même plutôt l'AICc car beaucoup de critiques émises envers l'AIC dans la comparaison AIC/BIC viennent en fait de la mauvaise utilisation de l'AIC dans des cas où l'AICc est préconisé. En outre, je n'aime pas les résultats asymptotiques : le nombre d'observation y prend le pas sur tout et surtout sur les processus biologiques d'intêret. Le BIC pourrait se justifier dans les cas où on a plus de 100000 observations (Burnham et Anderson) car on arrive dans des dimensions où les raisonnements asymptotiques sont toujours vrais. Mais dans mon domaine (écologie) on a très rarement des jeux de données d'une telle ampleur même dans des chroniques à très long terme. Pour finir, toujours dans mon domaine, la recherche de LA vérité est une absurdité : les modèles sont d'une complexité infini dans les écosystèmes et il est illusoire d'arriver à en décortiquer tous les tenants et aboutissants.

Voilà pour ma contribution.

Nik

PS : et j'en profite pour faire un peu de pub pour une formation : ftp://ftp.cirad.fr/pub/group-r/groupe-r/Documents/CoursAIC_Anderson2011.pdf

Merci beaucoup, c'est vraiment des contributions comme la tienne qui m'intéresse.
Je suis d'accord avec toi concernant la p-value. Généralement je n'ai aucune idée de ce qu'elle signifie vraiment car tout dépend de la différence évaluée, c'est pourquoi un interval de confiance est bien plus parlant. Mais concernant le fait que l'on considère généralement une variable contenant la valeur 0 dans l'interval de confiance comme n'ayant aucune valeur explicative?
Concernant AIC vs AICc je suis aussi assez embrouillée. J'obtiens des résultats assez différents et je pense que cela est dû au fait que n'ayant pas énormément de données, un résultat "significatif" est possible simplement dû au hasard. Mais le résultat obtenu en considérant l'AIC est assez logique au point de vu de mes données brutes, ce qui m'incite à me tourner plutôt vers l'AIC, tout en discutant les résultats d'une manière prudente.

Dommage que j'habite en Suisse, le cours proposé m'intéresserait vraiment

Concernant AIC vs AICc je suis aussi assez embrouillée. J'obtiens des résultats assez différents et je pense que cela est dû au fait que n'ayant pas énormément de données, un résultat "significatif" est possible simplement dû au hasard

En fait il n'y a pas à utiliser les deux pour un même jeu de données. L'AICc est recommandé quand le ratio n/k (k; nombre de paramètre du modèle) est <40. De même, quand le n devient grand , il vaut mieux utiliser l'AICc en raison de sa pénalité plus importante sur le nombre de paramètre permettant d'éviter l'overfitting.
Il ne faut pas retenir une méthode parce qu'elle donne des résultats plus en adéquation avec ses attentes. Si tu es dans des jeu de données de taille réduite (tout est relatif bien sûr) alors il faut prendre l'AICc et même de tout façon dans le doute l'AICc est toujours plus indiqué. L'AIC peut donner du poids à des variables dont les effets sont finalement faible simplement pour une question de précision de l'estimateur. Au final l'incertitude du modèle obtenu risque d'être élevée.

Il faut bien sûr préciser qu'une bonne partie de la sélection de modèle se passe en amont du processus d'estimation par la spécification d'un bon ensemble de modèles candidats en se basant sur des hypothèses et raisonnements en liaison l'objet de l'étude.

Nik

PS : la Suisse c'est pas loin de Lyon !!