Quel test répond le mieux à la question? Et convergence?

Bonjour tout le monde,

Je me pose une question à priori toute simple.

Dans le domaine de l'internet, des personnes tests l'efficacité de la "page d'arrivée" (c'est à dire la page sur laquelle l'utilisateur arrive après avoir cliqué sur un lien de recherche Google/Bing/etc.).

L'idée étant que l'on test 2 (ou plus) pages d'arrivées l'une contre l'autre. Pour chaque page on collecte 2 types d'informations :
- le nombre de personnes qui sont arrivées sur la page en question
- et le nombre d'achats en arrivant sur cette page

Ici je ne reviendrai pas sur tous les biais qui sont introduits lors de la mise en place du test (appelé également A/B test) mais plutôt sur quelque chose qui me surprend : on trouve 2 tests dans la littérature (enfin disons sur Google) pour choisir quelle page est la meilleure ... un test du chi2 et un z-test.

J'avoue avoir du mal à comprendre pourquoi le chi2 est utilisé ici.
Je suppose que les personnes veulent tester si ce qu'elles voient (i.e. qu'il y a beaucoup plus d'achats sur l'une des pages) peut être confirmée (c'est à dire que l'une des pages est bien la meilleure) en se posant la question suivante : "Est-ce que l'augmentation du nombre d'achat est du à la page d'arrivée ou non (indépendance)?"

En revanche avec le z-test on test directement (je suppose car je n'en ai à vrai dire jamais fait) : "est-ce que ma proportion d'achat sur la page A est meilleure que sur la page B?"

Cette dernière question me semble plus répondre au fait qu'après un "A/B" test on choisit la page la plus "performante".

Qu'en pensez-vous? Pensez-vous qu'il est plus raisonnable d'utiliser un chi2 ou un z-test pour cet objectif?

Autre question ... on parle souvent de nombre de visiteurs significatifs à avoir avant de pouvoir décider de la cohérence du test. Pour l'un comme pour l'autre test je ne vois pas trop en quoi il faudrait un nombre de visiteurs significatifs de façon décorrelé d'un écart qui lui serait significatif (à un seuil qu'on pourrait se fixer à 95% par exemple)?

Je prends tout renseignement,

Merci

Quali

Bonjour.

Dans les deux tests, l'hypothèse de base est que les deux pages sont choisies à égalité. Dans ce cas, c'est un résultat de statistiques mathématiques que sous des présentations différentes, c'est le même test (*). Je n'ai pas de référence, mais on devrait trouver la preuve dans des ouvrages de référence. Elle est rapidement évoquée (avec un calcul "laissé au soin du lecteur") dans le Saporta "Probabilités, Analyse des Données et Statistiques", p 347.

On peut donc utiliser l'un ou l'autre test.

Pour ta deuxième question, il s'agit d'un vocabulaire souvent utilisé mais le mot de "significatif" ici veut dire simplement "grand".

Cordialement.

(*) sous réserve que les effectifs soient importants. Il faut savoir que le carré d'une gaussienne centrée réduite est une khi-deux à 1 ddl.

Bonjour gg,

Tout d'abord merci pour ta réponse.
J'irai voir dans le Saporta l'information indiquée.

J'avoue avoir encore un peu de mal à me dire que les 2 hypothèses de tests sont les mêmes. Oui l'hypothèse de base est la même mais au final on test une indépendance dans l'un et un succès dans l'autre non?

Ou alors est-ce que le test pour l'indépendance peut être réécrit comme "la différence du nombre d'achats est > 0" (H1) ?

Encore merci pour la réponse,

Cordialement,

Quali

Dans les deux cas, on teste l'hypothèse : "La proportion d'achats est la même".

Par contre, il est possible qu'on ne fasse pas exactement le même test, c'est ce que tu écris sur ton dernier message qui m'y fait penser. En effet, pour un test, l'hypothèse alternative H1 fait partie de la formulation du test. dans le test du khi-deux, H1 est "les proportions ne sont pas les mêmes". Avec un test de comparaison, on peut prendre la même alternative (test bilatéral), ou bien faire l'un des deux tests unilatéraux possibles : H1="la page B a une plus forte proportion" et H1="la page B a une plus faible proportion". Il ne s'agit plus exactement du même test, et je n'y ai pas pensé en lisant ton premier message, car tu parlais de simple comparaison de pages.

En effet, un test unilatéral n'est utilisé que si on veut assurer qu'une valeur a augmenté (ou diminué). Par exemple, en contrôle de qualité, si on compare une nouvelle méthode à une ancienne, on ne s'intéresse à la nouvelle que si elle donne une qualité nettement supérieure. Comme H0="qualité supérieure" n'est pas une hypothèse testable, on teste H0="même qualité" contre H1="qualité supérieure" et on considèrera que si la qualité est inférieure, c'est la même chose que qualité égale. Tu remarqueras que les méthodes ne jouent pas le même rôle dans la question, le test est donc dissymétrique.

Pour bien comprendre, il serait bon que tu étudies un cours de base sur la théorie des tests d'hypothèse. L'idée et l'interprétation des tests, le rôle dissymétrique de H0 et H1, tout ça est à bien comprendre.

Mais en conclusion, dans ce qui est fait généralement, les deux tests utilisent les mêmes hypothèses H0 et H1. A priori, les pages A et B jouent le même rôle.

Cordialement.

Encore une fois merci gg pour ton retour!

Effectivement dans les 2 cas l'hypothèse H0 qu'on teste est la même. Mais c'était bien sur l'hypothèse H1 que je me posais la question sur le côté bilatéral vs unilatéral.

As-tu une référence pour bien saisir ce problème de dissymétrie? Le Saporta conviendra t'il?

Pour les pages A et B en fait si on part du principe qu'elles jouent le même rôle alors on a les même hypothèses H0 et H1? Par contre si on part du principe qu'on test une page A qui serait par exemple "l'ancien site" et la page B "le nouveau site" alors là un test dissymétrique est mieux?

Encore merci!

Cordialement,

Quali

Tu as parfaitement saisi la différence.

Cordialement.

NB : On parle de test "unilatéral", pas dissymétrique.

Merci encore gg.

Tes explications et tes retours m'ont vraiment aidé à saisir la différence. J'irai voir dans le Saporta pour plus de théorie.

Encore merci,

Cordialement,

Quali