Quand faire un Monte-Carlo ?

Bonjour,

Le Monte Carlo est une méthode qui s'appuie sur l'aléa des données.
Par contre j'ai peur de faire fausse route sur toute la suite.

Juste par curiosité, j'ai deux questions à vous poser :
- Dans quel cas de figure utiliser la méthode de Monte Carlo sur un Chi2 ? Il ne faut que des effectifs observés supérieurs à 5 dans chaque groupe dans le cas où les conditions ne sont pas respectées (effectifs théoriques tous supérieurs à 5). Si j'ai bien compris, le Chi2 de Monte Carlo remplace le Fisher exact ? (l'avantage serait de lancer moins de calcul dans un logiciel ?)
Dites moi si je fais complètement fausse route

- Quels autres avantages peut-on avoir à utiliser la méthode du Monte Carlo dans les statistiques ? Dans quelles méthodes statistiques peut-il être utile ? Il paraît qu'il peut être utilisé dans les modèles mais je ne comprends, faut-il que la loi suivie par le modèle soit "aléatoire" ? (Exemple : variabilité des paramètres d'un modèle lorsqu'on teste la dose d'un médicament).

Je vous remercie d'avance.

Je vois plusieurs confusions (possibles) dans votre question.

Tout d'abord, je ne comprends pas "sur un chi2". "Chi2" désigne avant tout une distribution, et accessoirement un série de tests (sans rapport les uns avec les autres) qui - et c'est pour cela qu'on les appelle comme ça - suivent effectivement une distribution de chi2. Je peux en citer plein comme ça, comme tous les tests qui découlent de tests de rapport de vraisemblance, e.g., un Kruskal-Walis, un Log-rank, etc. En vous lisant, il n'est pas possible de savoir de quel test vous parlez.

Par ailleurs, l'expression "Monte Carlo" signifie juste qu'on tire des valeurs au hasard (comme dans le casino du même nom entre Nice et l'Italie). Il y a plein de raisons pour lesquelles on peut tirer des valeurs au hasard, en allant des jeux vidéos jusqu'à des méthodes de bootstrap ou jacknife (et aussi pour des simulations, comme la simulation des collisions dans un accélérateur de particules, etc.). Ici aussi, impossible de savoir de quoi vous parlez.

Si - par hasard - vous voulez dire par exemple  faire du boostrap pour comparer des pourcentages dans un Chi2 de table de contingence (est-ce cela que vous voulez dire ?), alors l'idée est généralement qu'on n'est pas dans les bonnes conditions pour faire une procédure de test "standard", par exemple que la loi que suit supposément le test (Chi2 ou autre) n'est pas une bonne approximation, et qu'on cherche à l'approcher en générant de nombreux échantillons aléatoires pour quantifier le risque d'obtenir un test significatif par hasard (un risque de première espèce). Dans le cas d'une table de contingence, un test exact de Fisher (dont vous parlez) ne participe pas de la même démarche. Dans ce cas, en revanche, on calcule exhaustivement toutes les tables possibles (il n'y a plus d'aléatoire) pour connaitre le risque exacte de première espèce.

J'espère être clair. Sans précisions supplémentaires de votre part, impossible (pour moi) de donner une réponse plus précise.

HTH, Eric.

Bonjour,

Si je comprends bien, tu fais reference, dans R par exemple, a l'option "simulate.p.value" qui utilise des simulations Monte-Carlo pour estimer la p-value. C'est en general pas terrible et il vaut mieux en general changer de test pour un test plus adapte a la distribution de tes donnees. Voici une explication issue d'un papier du JRSS:

"Monte-Carlo significance test procedures consist of the comparison of the observed data with random samples generated in accordance with the hypothesis being tested. It is preferable to use a known test of good efficiency instead of a Monte-Carlo test procedure assuming that the alternative statistical hypothesis can be completely specified".

Donc si tu nous decris tes donnes et les raisons pour lesquelles un test du Chi-deux classique n'est pas possible, on pourra peut-etre t'aider a trouver l'approche adequate (si elle existe).

Pour les modeles, l'approche Monte-Carlo est generalement utilisee dans le cadre d'etudes de simulations pour etudier les performances d'une approche dans un contexte donne. Comme l'a explique Eric, cela peut permettre d'estimer l'erreur de type I, mais egalement, le biais dans l'estimation de parametres, ainsi que la variance empirique. Donc le plus souvent, l'approche Monte-Carlo est utile pour tester un modele statistique sur un grand nombre de donnees simulees aleatoirement plutot que de faire de l'inference sur un jeu de donnees en particulier.

Ayana

Le test du Chi2 de Pearson par MCMC je m'en sers personnellement quand je n'ai pas les effectifs théoriques adéquats ou encore quand le test exact de Fisher prend trop de temps à tourner (ce qui arrive souvent avec R, jamais avec SAS ce qui se comprend quand on voit qu'il s'agit de générer toutes les configurations possibles sous contrainte d'avoir les même marges et de comparer avec celle observée). Ca offre une alternative même si l'algorithme utilisé inspire moyennement confiance.

Si tu peux faire un V de Cramer comme alternative, mais là on est plus dans la théorie des tests mais dans un indicateur au travers d'une mesure d'association.

Tout d'abord, merci pour vos réponses.

J'ai effectivement réalisé plein de tests du Chi2 avec un correction de Monte-Carlo dans le cas de figure où les effectifs théoriques étaient trop faibles et que le Fisher-Exact plantait sur un grand nombre de tests.
Ce que je ne comprends pas dans le Chi2 de Monte-Carlo, c'est comment il choisit "au hasard" les données qu'il compare aux données observées. Le Monte-Carlo est censé choisir des valeurs au hasard mais qui prédisent un modèle (exemple : si je lance au hasard 100 fléchettes sur un mur de 10m² et que 10 fléchettes atterissent sur une cible, le Monte-Carlo va estimer que la cible mesure 1m²).

En faite j'ai utilisé cette méthode auparavant et je voulais savoir en quoi elle est vraiment viable.

Je vais travailler prochainement sur la simulations de Monte-Carlo pour investiguer  sur  les  effets  de la  variabilité  des paramètres d'un modèle. Je ne comprends pas les avantages de cette méthode ?

Popolo polopopop... https://lemakistatheux.wordpress.com/category/tests-statistique-indices-de-liaison-et-coefficients-de-correlation/le-test-du-chi2-de-pearson/

Cf le paragraphe sur: "L’Approximation par méthode MCMC"

Pardonne à l'auteur (que je ne connais pas) du site les fautes d'orthographes et de syntaxe, il promet de rectifier ça lors d'une séance relecture début-mi 2016.

zezima a écrit:Tout d'abord, merci pour vos réponses.

J'ai effectivement réalisé plein de tests du Chi2 avec un correction de Monte-Carlo dans le cas de figure où les effectifs théoriques étaient trop faibles et que le Fisher-Exact plantait sur un grand nombre de tests.
Ce que je ne comprends pas dans le Chi2 de Monte-Carlo, c'est comment il choisit "au hasard" les données qu'il compare aux données observées. Le Monte-Carlo est censé choisir des valeurs au hasard mais qui prédisent un modèle (exemple : si je lance au hasard 100 fléchettes sur un mur de 10m² et que 10 fléchettes atterissent sur une cible, le Monte-Carlo va estimer que la cible mesure 1m²).

Rapidement l'attribution de l'ensemble des données aux différentes catégories de la table de contingence est tirée au hasard et un chi2 est calculé. Puis la procédure est répétée de très nombreuses fois. On obtient alors la distribution "empirique" de la statistique calculée (Chi2) et l'on peut estimer ainsi le risque observé d'avoir (par hasard) une valeur de chi2 supérieure ou égale à la valeur calculée sur la table d'origine. C'est une estimation par Monte Carlo du risque de première espèce.

HTH, Eric.

Vos explications sont très claires. Merci à vous. (J'attends avec impatience de le mettre en application en cours!)