Les posteurs les plus actifs de la semaine
lenny868
 


Points aberrants autour d'une moyenne

Aller en bas

Points aberrants autour d'une moyenne

Message par Charlottesi le Mer 12 Déc 2012 - 10:54

Bonjour à tous,

une nouvelle question autour de la répartition des points autour d'une moyenne.
Voilà j'ai une série de points ayant une abscisse (temps) et en ordonnée une concentration en éléments.
Normalement, comme ces points représentent l'analyse d'un seul et même étalon (concentration connue) l'ordonnée devrait être constante (+/- selon la précision).
QUESTION: Je recherche une méthodologie pour éliminer des points aberrants.

Ma réflexion serait de :
1. Faire une moyenne de tout les point M
2. Trouver l'écart-type autour de la moyenne (E)
3. D'éliminer tous les points dont l'ordonnée serait > à x fois l'écart-type. Je mets x mais moi je pensais à 3 fois l'écart-type.

Je me suis penchée sur la répartition d'une loi normale pour trouver la réponse mais sans résultat.
Existe t'il une procédure ou une loi pour cette question?
Merci d'avance,

Cha.

Charlottesi

Nombre de messages : 14
Date d'inscription : 01/12/2012

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Points aberrants autour d'une moyenne

Message par gg le Mer 12 Déc 2012 - 13:23

Bonjour.

Il ne peut pas y avoir de méthodologie générale pour les points aberrants. Tu traites ici de méthodes permettant d'éliminer les valeurs loin de la moyenne, ce qui est différent.

Plus gênant, ici tu as la vraie valeur et des résultats mesurés différents. les valeurs éloignées de la moyenne demandent une analyse très sérieuse, pour trouver les causes d'erreurs importantes et les éliminer. Donc ce sont les plus utiles !

Cordialement.

gg

Nombre de messages : 2017
Date d'inscription : 10/01/2011

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Points aberrants autour d'une moyenne

Message par Charlottesi le Mer 12 Déc 2012 - 13:46

Oui ces points aberrants sont dû à un défaut machine, j'ai besoin de les enlever car ils vont modifier les valeur de la moyenne que l'on doit comparer avec la vraie valeur du standard pour faire une règle de 3 tout simplement.
Mais comment choisir ces points à enlever du calcul ?

Charlottesi

Nombre de messages : 14
Date d'inscription : 01/12/2012

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Points aberrants autour d'une moyenne

Message par Bubble974 le Mer 12 Déc 2012 - 13:50

quelle est la nature de tes variables ?
Est-ce que ta variable temps est une donnée qualitative ?

Bubble974

Nombre de messages : 8
Date d'inscription : 12/12/2012

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Points aberrants autour d'une moyenne

Message par Charlottesi le Mer 12 Déc 2012 - 13:54

Non c'est une donnée quantitative du style :
1.2 sec
3.2 sec
5.2 sec
avec un pas de temps régulier
Merci beaucoup pour votre aide !

Charlottesi

Nombre de messages : 14
Date d'inscription : 01/12/2012

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Points aberrants autour d'une moyenne

Message par Bubble974 le Mer 12 Déc 2012 - 14:00

pour chacun de tes pas de temps, tu as plusieurs mesures ?
(désolée pour les questions un peu basiques... je ne sais pas si j'ai bien compris ton problème !) Est-ce que tu as le même nombre de mesures pour chaque pas de temps ? Combien en as-tu ?

Bubble974

Nombre de messages : 8
Date d'inscription : 12/12/2012

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Points aberrants autour d'une moyenne

Message par gg le Mer 12 Déc 2012 - 14:04

Alors il faut que tu élimines les points aberrants par une procédure technique, pas statistique: le calcul de la moyenne d'une variable gaussienne tient compte aussi des valeurs éloignées de la moyenne (il y en a, même si elles sont rares). les éliminer fausse le calcul !
Le vrai problème est d'éliminer les défauts machines, qui peuvent aussi bien rapprocher une vraie valeur éloignée qu'éloigner une valeur proche de la moyenne.

Cordialement.

gg

Nombre de messages : 2017
Date d'inscription : 10/01/2011

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Points aberrants autour d'une moyenne

Message par Charlottesi le Mer 12 Déc 2012 - 14:08

Non ! je comprends très bien, c'est un peu galère de comprendre le problème des autres si on est pas en face avec une feuille et un crayon donc pas de pb !

Au contraire c'est moi qui te remercie de prendre du temps pour m'aider à résoudre mon pb !

en fait mon tableau se compose en ligne le temps :
1.2 sec
3.2 sec
...

et en ligne se trouve les concentrations de différents éléments :
Ca
Li
Ba
...

Pour t'expliquer c'est un raster (un laser qui ablate la surface et qui projette des morceau de l'échantillon qui ensuite va être analyser) qui avance sur l'étalon pendant 60 secondes, et tous les pas de temps il fait une analyse des 20 éléments chimiques.

Charlottesi

Nombre de messages : 14
Date d'inscription : 01/12/2012

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Points aberrants autour d'une moyenne

Message par Charlottesi le Mer 12 Déc 2012 - 14:10

Du coup, gg tu penses qu'il faut que je garde tout mes points ? qu'ils soient éloigné ou non de la moyenne ?

Charlottesi

Nombre de messages : 14
Date d'inscription : 01/12/2012

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Points aberrants autour d'une moyenne

Message par Bubble974 le Mer 12 Déc 2012 - 14:25

une autre question : est-ce que les concentrations de tes différents éléments chimiques doivent évoluer avec le temps ou est-ce que ça doit rester constant ?

Si tes teneurs doivent être constantes, alors tu peux tourner le problème différemment. En colonne tu as tes éléments. Cela veut dire que tu peux faire un boxplot (ou boite à moustache) pour chacun des éléments. Tu dois pouvoir tirer de cette représentation les éléments aberrants, que tu pourras alors éliminer sans te poser de questions (sous R ils sont représentés sous forme d'étoiles et tu peux identifier à la main les points en question).

Mais peut être que tu y as déjà pensé et que je suis complètement à côté de mes pompes, car cela ne correspond pas à ta problématique Smile

Bubble974

Nombre de messages : 8
Date d'inscription : 12/12/2012

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Points aberrants autour d'une moyenne

Message par Charlottesi le Mer 12 Déc 2012 - 14:32

Oui ces valeurs devraient être constantes.
Je n'y avais pas pensé!
Sous R, R t'indiquent les points aberrants avec des étoiles?
Mais qu'utilisent-ils comme calculs ?

Je te demande ça parce que je dois ensuite effectuer des calculs sur les points aberrant (je dois supprimer leur valeur pour la remplacer par la moyenne du point avant et du point après). Du coup j'aurai besoin d'un calcul pour effectuer une condition sous R.
Merci de l'aide !!!

Cha.

Charlottesi

Nombre de messages : 14
Date d'inscription : 01/12/2012

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Points aberrants autour d'une moyenne

Message par Bubble974 le Mer 12 Déc 2012 - 14:57

Tout à fait, R te donne les points aberrants sous forme d'étoile. Avec R commander ça va très vite.
Je ne connais pas la méthode de calcul de tête, mais tu pourras trouver ça facilement sur le net, en googlisant : "construction de boîtes à moustache"

Tu as l'habitude de coder sous R ?
Sinon tu peux faire ça rapidement sous excel.
Tu relève dans un tableau toutes tes données aberrantes. A l'aide d'une fonction rechercheV, tu repères les valeurs dans ton jeu de données. Puis tu appliques une mise en forme conditionnelle et une formule qui te calculera ça automatiquement. Je sais pas si je suis claire ?


Bubble974

Nombre de messages : 8
Date d'inscription : 12/12/2012

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Points aberrants autour d'une moyenne

Message par Charlottesi le Mer 12 Déc 2012 - 15:06

Ok merci beaucoup je code un peu sous R
Je vais regarder ça et je reviens vers toi si besoin
Merci beaucoup en tout cas !!!
A +

Charlottesi

Nombre de messages : 14
Date d'inscription : 01/12/2012

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Points aberrants autour d'une moyenne

Message par c@ssoulet le Jeu 13 Déc 2012 - 10:27

Les outliers sur un boxplot ne sont pas du tout des valeurs aberrantes. Ce sont des valeurs extrêmes. C'est différent. Sur un box plot, on présente de façon graphique les valeurs extrêmes de façon individuelle afin de mieux les visualiser, c'est tout. La "limite" au delà de laquelle un point est représenté comme un outlier a d'ailleurs été fixée de façon purement empirique et pratique par tucker. Et elle peut varier d'un logiciel à l'autre ! (75° percentile + 1.5 intervalle interquantile sur la plupart des softs, mais on trouve aussi 90° percentile... etc...)
Bref, un box and wiskers plot ne peut pas en soi justifier de supprimer des valeurs d'une analyse.

c@ssoulet

Nombre de messages : 827
Date d'inscription : 05/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Points aberrants autour d'une moyenne

Message par Contenu sponsorisé


Contenu sponsorisé


Revenir en haut Aller en bas

Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum