detecter des valeurs anormales

Voir le sujet précédent Voir le sujet suivant Aller en bas

detecter des valeurs anormales

Message par noodlesoup le Ven 14 Fév 2014 - 18:47

Bonjour,

J ai un système qui comptabilise des événements informatiques.
J'exploite le nombre d evenements par 1/4h et je cherche a reperer des valeurs anormales.

Ma demarche a été de d'abord, a partir de donnees sur les annees precedentes, d' éliminer les periodes connues pour contenir des valeurs anormales afin d obtenir des données le plus normales possible.
Ensuite de calculer moyenne et ecartype pour les données restantes.

Ceci doit me permettre de considerer que les valeurs qui dépassaront moyenne + ecartype comme anormale par rapport a mon echantillon passé.

Je voulais savoir si tout cela a mathematiquement et statistiquement un sens ou bien si je suis dans l erreu

Merci pour votre aide.

noodlesoup

Nombre de messages : 4
Date d'inscription : 14/04/2011

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: detecter des valeurs anormales

Message par gg le Ven 14 Fév 2014 - 19:16

Bonjour.

Il est toujours possible de faire des calculs. C'est mathématiquement irréprochable, mais parfois sans utilité pratique.
Si tu as été capable de déterminer les valeurs anormales pour les rejeter de ton étude, c'est que tu sais comment détecter les valeurs anormales. Il te suffit d'utiliser cela. A moins que ce soient seulement les périodes dont tu sais qu'elles sont anormales. mais alorzs, comment sont les valeurs dans ces périodes ? Si elles sont toutes aux alentours de la moyenne calculée, tu ne les rejetteras pas, alors que tu rejetteras des valeurs normales un peu forte.

En conclusion : Tu ne peux pas te contenter d'un "calcul", il te faut au moins une typologie des valeurs à rejeter. Et étudier les conséquences de ton choix de méthode.

Cordialement.

gg

Nombre de messages : 1775
Date d'inscription : 10/01/2011

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: detecter des valeurs anormales

Message par noodlesoup le Sam 15 Fév 2014 - 13:47

Bonjour,

Merci d'avoir regarder mon problème.

Pour être plus précis, jusqu'à présent les valeurs anormales étaient déterminées sur des jours entiers et à vue d'oeil par rapport à la moyenne (la moyenne étant de 200 événements par jour, une journée à 400 était considérée comme anormale).
Je voudrais maintenant avoir une méthode plus fine étudiant 1/4h par 1/4h et basée sur une statistique et non plus sur un ressenti.

L'idée était donc de déterminer quel écart par rapport à la moyenne est acceptable.
Acceptable signifiant ici que ces valeurs ont été courantes dans le passé.
Je ne voulais pas définir "courant" arbitrairement (par exemple en disant que la valeur a été atteinte sur 10% des cas).
J'ai donc pensé à l'écarttype.

noodlesoup

Nombre de messages : 4
Date d'inscription : 14/04/2011

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: detecter des valeurs anormales

Message par gg le Sam 15 Fév 2014 - 14:36

Alors c'est tout aussi arbitraire . Pourquoi 1 écart type et pas 2 ? Ou 3 ? Et si tu changes de référentiel, en passant de la journée au quart d'heure, il va falloir aussi changer les règles : 200 sur la journée n'a aucune raison de donner 200/96 sur le quart d'heure. Si 400 événements sur la journée sont exceptionnels, 400/96 (soit environ 4) sur un quart d'heure n'a rien d'exceptionnel. Si les événements sont indépendants, avec une modélisation simple, pour une nombre moyen journalier de 200, on voit que 4 ou plus arrive dans 16% des cas, soit en moyenne presque 4 fois par jour.

Cordialement.

gg

Nombre de messages : 1775
Date d'inscription : 10/01/2011

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: detecter des valeurs anormales

Message par noodlesoup le Sam 15 Fév 2014 - 19:01

J'ai encore mal expliqué  silent 
J'ai calculé la moyenne et l'ecart type de chaque 1/4h, par exemple 15h00-15h15 à partir des valeurs passées.

Je ne prends qu'un seul ecart type car avec deux, le filtre ne capte quasiment aucune valeur.



noodlesoup

Nombre de messages : 4
Date d'inscription : 14/04/2011

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: detecter des valeurs anormales

Message par gg le Sam 15 Fév 2014 - 23:06

C'est toi qui vois !

gg

Nombre de messages : 1775
Date d'inscription : 10/01/2011

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: detecter des valeurs anormales

Message par Contenu sponsorisé Aujourd'hui à 18:06


Contenu sponsorisé


Revenir en haut Aller en bas

Voir le sujet précédent Voir le sujet suivant Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum