Evènements inhabituels par rapport à une situation passée

Bonjour à toutes et à tous,

Je reviens vers vous concernant un problème similaire à celui que j'avais déjà posé sur ce Forum en juillet 2018 et que reformule ici compte-tenu de nouvelles données.

Je travaille dans un département de R&D d'une société de transport privée. L'objectif de mon travail est de rechercher des évènements inhabituels dans une liste donnant par jour le nombre de passagers ayant utilisé une certaine navette. Nous disposons pour cela d'une liste de référence réalisée en 2018 ayant la structure suivante :

Liste de référence
- 01 janvier 2018 : 295 passagers
- 02 janvier 2018 : 312 passagers
- 03 janvier 2018 : 326 passagers
-
-
- 31 décembre 2018 : 310 passagers

Cette liste (n = 365) a permis d'établir une moyenne de référence (315) et un écart-type de référence (12).

A partir de cette liste de référence que l'on considère sans anomalie ni évènement inhabituel, nous souhaitons identifier dans une autre liste réalisée en 2019 des jours "inhabituels", c'est-à-dire les jours où le nombre de passagers est anormalement élevé ou bas. Qualitativement, on dira en effet que pour un certain jour le nombre de passagers est anormalement élevé (par rapport aux données de référence) si ce nombre est très supérieur à la moyenne de référence ou anormalement bas si celui-ci est très inférieur à la moyenne de référence. C'est quelque chose d'ailleurs que l'on fait tous dans la vie de tous les jours dans d'autres situations.

Auriez-vous une méthode statistique à me proposer pour quantifier plus objectivement l'écart entre une valeur observée (dans la liste de 2019) et la situation habituelle extraite de la liste de référence établie dans le passé ? Dans la situation décrite, la variable aléatoire X : "nombre de passagers" ne suit pas une loi normale.

Pour ma part, je propose de réaliser un test statistique de l'écart réduit consistant à comparer la valeur moyenne de référence (µ = 315) à une valeur observée dans la nouvelle liste mais suspectée d'être anormalement élevée ou basse (notée a) :

Hypothèses : H0 : μ = a et H1 : μ ≠ a

Z = (µ-a)/(s/sqrt(n))

et la valeur de Zseuil est lue dans la table bilatérale des fractiles de la loi normale standard (car n>30 sinon on utilise la loi de Student) pour un risque alpha donné (par exemple 5 %).

- Si |Z| > Zseuil alors on rejette H0
- Si |Z| < Zseuil alors on ne peut pas rejeter H0

Cette méthode est-elle adaptée à mon problème ?

Merci pour vos avis.

Bonjour.

Il n'y a pas de méthode statistique dans l'absolu pour faire ce que tu veux : La réalité est plus riche que les nombres qu'on en tire.

Je ne comprends pas ta méthode, qui semble inverser le connu et l'inconnu. La moyenne de référence est une valeur connue, donc ce que tu veux, c'est comparer la nouvelle valeur à la moyenne de référence, non ? Dans ce cas, c'est quoi ce n ?? Et pourquoi utiliser la loi Normale en disant n est grand, alors que tu as un échantillon de 1 ?
Éventuellement, si tu avais des raisons sérieuses de penser que la répartition des valeurs d'une année est approximativement Normale, tu pourrais utiliser une méthode de ce genre (en bien plus simple : comparer l'écart e à 315 à l'écart type s, et rejeter si par exemple |e|>3s). Mais tu le dis toi-même, il n'y a pas Normalité.

J'ai bien peur que la bonne réponse à ta question ne soit pas trouvable en statistique, mais par une étude sérieuse et approfondie de la situation avec des outils non statistiques (questionnaires clients, retour d'expérience des employés, modélisation de l'activité, ...).

C

Bonjour gg,

Merci pour ta réponse.

Je propose d'utiliser cette méthode qui permet de comparer la valeur observée dans la nouvelle liste et que l'on pense par exemple anormalement élevée à la moyenne de référence extraite d'une liste de référence passée. Il s'agit d'un test de l'écart entre la valeur moyenne de la population de référence (estimée ponctuellement à partir des données de référence : m = 315) et une valeur observée dans une autre liste.

Cela me semble en effet cohérent avec ce que nous ferions intuitivement pour juger si tel ou tel évènement est anormalement élevé, en se basant sur des données passées.

Supposons qu'en moyenne, nous ayons dans la liste de référence une moyenne de 315 passagers et un écart-type de 12 par jour et que nous observons un autre jour une fréquentation de 600 passagers...Nous allons nous dire (sans faire de calcul) que ce dernier nombre est anormalement élevé...C'est ce que je souhaiterais quantifier en utilisant l'outil statistique…

La méthode usuelle consiste à comparer une moyenne estimée à partir d'un échantillon de taille n à une moyenne théorique. J'ai donc détourné cette méthode pour comparer la moyenne provenant de la liste de référence (de taille n = 365 > 30) à une valeur observée que l'on souhaite caractériser (qui joue le rôle de la moyenne théorique dans la méthode usuelle).

Prenons par exemple la liste de référence suivante :
- 6, 6, 6, 5, 6, 6, 6, 5  (n = 8, moyenne = 5,75 et sigma = 0,46)
 et la liste à étudier suivante : 6, 6, 12, 5, 6.

La valeur 12 me semble anormalement élevée par rapport aux données de référence. Pour quantifier cet écart, j'utilise le test statistique suivant :

t = (12-5,75)/(0,46/sqrt(huit)) = 38,19.

La valeur seuil est donnée ici par la loi de Student (n=8 < 30) à 7 ddl : tseuil = 2,36 (alpha = 5%).

Comme t > tseuil, on rejette l'hypothèse nulle : donc la valeur 12 est significativement différente de la valeur moyenne extraite de la liste de référence avec un risque de 5%. En outre, p-value << 0.001 et donc le rejet est hautement significatif. Ce résultat est compatible avec notre intuition : 12 est anormalement élevé par rapport aux données de référence.

Qu'en pensez-vous ?

Que tu utilises un test basé sur la loi Normale après avoir affirmé qu'elle ne s'applique pas.
Que tu utilises une formule où n est la taille d'un échantillon sur un échantillon de 1 en prenant n=8.
Que ta méthode rejette les valeurs 7, 4 et même la valeur 5, pourtant fréquente dans la série de référence.
Que ça ressemble à des statistiques mais que c'est seulement de l'imitation des calculs effectués dans d'autres circonstances pour traiter d'autres questions.
Que les problèmes que je posais dans ma première réponse ont été laissés de côté, donc que mes réponses ne servent à rien.

Bonjour gg,

Il me semble quand même qu'un test statistique est possible même si les données mises en jeu ne suivent pas une loi normale, la distribution de la moyenne d'un échantillon tendant vers une loi normale (si n est grand) quelque soit la loi sous-jacente. D'ailleurs c'est une loi de Student que j'ai utilisé pour le test.

Tu dis que ma méthode rejette les valeurs 4, 5 et 7...Tu as raison mais ça ne me choque pas car cela signifierait que ces valeurs sont en fait anormalement faibles ou anormalement élevées par rapport aux données de référence ce que d'ailleurs j'aurai dis avant de faire le calcul, les valeurs de référence étant presque constantes (moyenne de 5,75 et dispersion très faible)...

La méthode que j'utilise est une méthode détournée ou inversée de celle usuellement utilisée dans un test de conformité. Ici n est bien la taille de l'échantillon de référence donc c'est bien n=8. Cette méthode rejette bien les valeurs extrêmes dans les cas extrêmes par exemple en prenant 1, 12, 20...

J'ai bien pris note des problèmes que tu posais dans ta première réponse

"J'ai bien pris note des problèmes que tu posais dans ta première réponse" ??
Si c'est vrai, tu as pris note puis tu t'en est moqué, tu te contentes de reprendre ta proposition aberrante initiale.

Et je ne vais pas continuer à discuter avec quelqu'un qui considère comme normal de rejeter les valeurs qui servent à tester le reste. C'est idiot !

Bonjour,

Pour ce que tu cherches, si je comprends bien, dans l'ordre:

1. Histogramme: représentation graphique de la distribution observée de tes données de référence (x valeur de comptage; y fréquence de cette valeur de comptage).
2. Déduit la distribution théorique la plus proche de tes données. Ce sont des données de comptage, il est peu vraisemblable qu'une distribution théorique normale soit adaptée, on peut s'attendre à une distribution de Poisson, Binomiale, Négative Binomiale, ou autres. Aide toi du graphique obtenu à l'étape précédente pour avoir une description théorique satisfaisante. Éventuellement, basé sur le loi des grands nombres, la loi Normale peut être une bonne approximation, le graphique permettra de juger de la pertinence de l'approximation. (Un graphique quantile-quantile peut s'avérer utile)
3. Graphique: ajoute la nouvelle donnée observée en question sur le graphique, par exemple sur l'axe des x.
4. Intervalle de confiance: utilise la distribution théorique choisie pour obtenir un intervalle de confiance, par exemple identifier les quantiles encadrant 95% de l'aire sous la courbe de ta distribution.
5. La comparaison à l'intervalle de confiance théorique devrait suffire à répondre à ta question.


Alternative qui me semble plus pertinente (on peut douter de la pertinence du test ci-dessus):
1. calcule directement les quantiles observés sur ta série de référence, par exemple quantiles 0.025 et 0.975.
2. compare directement les nouvelles valeurs à quantiles.


Enfin, tes données correspondent à une série temporelle, on s'attend donc:
- a une tendance de fond: plus de voyage en été?
- une tendance locale: plus de voyage le week-end?
- des variables/facteurs significatifs: quel effet attendre d'un jour férié?
- une auto-corrélation temporelle: la valeur au jour n est corrélée au jour n-1, un peu moins corrélée au jour n-2, et encore moins au jour n-3, etc.

En conséquence, je privilégierais l'approche suivante:
- de représenter la série temporelle (x = jour de l'année, y = comptage).
- selon les hypothèses générées par le graphique: ajuster un modèle qui estimera à chaque jour la fréquentation attendue (modèle paramétrique ou non-paramétrique).

Les résultats d'une telle analyse serait d'une richesse, d'un intérêt bien supérieur:
- description générale de l'année "normale".
- visualiser/prédire les variations prédictibles: pic de fréquentation.
- identifier les anomalies: fréquentation accrue non prédite.



Bon courage

Bonjour Particule,
Les données dont vous disposez sont les populations finies. Les tests de statistique inductive que vous pensez utiliser servent à prévoir à partir d'un échantillon ce qui pourrait être dans la population finie d'où il est issu.
À votre place réutilisais des outils de statistique descriptive, dont en premier lieu l'histogramme et aussi la boîte à moustaches (box and wiskers) pour comparer visuellement es années sur une même feuille, puis discourir à partir de ces représentations.

Bonjour à tous,

@ François Collin. Merci pour votre réponse tout à fait pertinente et argumentée. Votre solution me semble tout à fait convenir à ma situation.

@ Gille Tixier. Merci pour votre réponse. Je vais utiliser vos conseils en complément de ceux de François Collin.

@gg. J'ai pu constater que vous intervenez régulièrement sur ce forum de façon arrogante et souvent peu argumentée pour envoyer promener ceux qui vous semblent persister dans leur méthode et qui ne vont pas dans votre sens. Pour qui vous prenez-vous ? Qui êtes-vous ? Un ancien professeur de mathématiques ou ingénieur aigris ? Un amateur de science qui pense briller sur un forum de statistique ? Quoi qu'il en soit, vous n'êtes d'aucune utilité ici et votre comportement est tout à fait inadapté. Je ne pense pas que votre place soit sur ce forum.

Tiens, particule est fâché ! C'est vrai que la vérité fâche ! Surtout quand on a parlé trop vite ..

Et finalement, FC et GT ont renvoyé Particule à ses études en lui conseillant de faire d'abord des statistiques descriptives, pas des tests.