Comparaison de courbe de tendance

Bonjour bonjour,

C'est encore moi..
Bon j'ai réussi à avancer, doucement mais surement, ça ressemble à quelque chose mes courbes de tendances.
Pour rappel, je devais faire des courbes de tendance sur 15 ans de données concernant des observation d'oiseaux essentiellement sur un espace naturel, exactement une Réserve Naturelle. J'ai essayé de lisser mes données en vain car les fluctuations ont un intérêt écologique donc inutile de les enlever. Chaque donnée a son intérêt.. Pas facile pour les stats mais intéressant tout de même !

Donc entre les dires d'expert du site et mes cours de stats, pour les courbes de tendance j'ai gardé les données "brutes" et j'ai également fais des moyennes / années pour comparer un peu. J'ai également séparer certaines périodes par rapport à d'autres (inutile de comparer la migration de printemps et d'automne ensemble, ça ne veut pas dire grand chose à ce moment la..)
Sauf qu'une régression linéaire sur des données brutes (impossible à lisser même avec des moyennes mobiles vu qu'il n'y a pas de cycles visible) avec toutes ces fluctuations "naturelles" c'est sympa mais à petite dose, parce que le R² il est minussss à ce moment la (surtout s'il y a beaucoup de fluctuations), et bien difficile à interpréter par la suite...

Donc voilà, on arrive au problème (enfin 2 exactement (2 et demi?)) :
1) à combien peut on considérer le R² des régressions linéaires comme significatif avec des fluctuations pareilles ? J'avais entendu qu'il fallait 0.1 minimum quand il y avait des fluctuations importantes, mais impossible de retrouver l'info
2) comment comparer deux courbes de tendance et dire que c'est la même tendance ou non ? car après avoir fais mes jolies courbes sur mon site, je vais devoir montrer que le site suit les tendances régionales, ou peut être meilleur pour certaines espèces , ou moins bon
2bis) Je vais aussi devoir essayer de corréler les données du site avec les conditions du site, c'est à dire les niveaux d'eau du bassin où sont observés les oiseaux, niveaux qui sont régulés par l'équipe pour essayer de rendre le site le plus propice au stationnement / à la migration / à l'hivernage / à la nidification des différentes espèces d'oiseaux.

Comment faire cette corrélation ? En espérant conforter la gestion de la Réserve Naturelle !!


Voilà voilà, toute aide est la bienvenue, l'envois vers des sites / doc à lire ne me dérange pas (au contraire, je suis prête à apprendre), toute question pour une meilleure compréhension est toujours utile et intéressante !!!

merci merci d'avance !!

Salut

Je crois que je suis dans le même cas que toi. Je suis en stage en écologie (dans un PNR) et je travaille sur des données d'oiseaux d'eau (données de comptage) et je dois déduire des tendances et prendre en compte des variables explicatives (niveaux d'eau etc...). J'ai choisi de regarder les séries temporelles pour l'hivernage car en migration ça ne signifie pas grand chose en absence d'informations sur les flux d'individus (données de baguage etc).

Je n'ai pas fait de régression linéaire car on ne peut pas de régression linéaire simple ou multiple pour des données de comptage (données qui ne suit pas la loi normale). D'autre part je ne suis pas sûre que le R² suffise à valider ou infirmer ta régression, il y a d'autres choses à vérifier pour des régressions linéaires (normalité des résidus etc). Je ne sais pas si on est dans le même cas cependant.

J'essaie de faire des modèles linéaires généralisés qui sont adaptés à d'autres types de distribution (en général distribution de Poisson pour les données de comptage). Je suis en train de me casser la tête là-dessus donc je ne peux pas t'en dire plus (voir ici le sujet que j'ai créé à ce propos). En tout cas, si on est dans le même cas, on pourrait peut-être en discuter.

Bonne journée
Héloïse

Salut salut,

Alors je vais pas te mentir tu m'as fait flipper quand j'ai lu ton message, puis je suis allé voir ce qu'était un glm, et ton sujet pour comprendre un peu tout ce bordel..

Sincèrement ça fait 3mois que je suis sur les stats dès que j'ai un peu de temps au milieu de la gestion que je dois faire en même temps sur la Réserve, et je commence à en avoir marre... Pourtant j'aime ça les stats et les résultats qu'on peut avoir, mais là ça sature !
Et si tu me dis qu'il faut tout changer, je te dirais non, tant pis, j'ai merdé mais non je vais pas recommencer à zéro... C'est égoïste je l'admet mais j'ai ni le courage ni le temps... J'ai une présentation à faire pour le 23 juin au comité scientifique de la Réserve Naturelle, donc plus le temps de tout reprendre la... *pleure*

Bon donc, j'ai lu ton sujet là où tu explique ton problème tout ça ! C'est en effet proche mais pas identique non plus.
J'ai des données de comptage dit décadaire (au minimum 1 comptage tout les 10 jours, avec la loi des maximum observés par espèces entre les comptages) tout au long de l'année, chaque année depuis 30 ans (et moi je me concentre sur 16 ans de base de données).
Le comptage se fait selon un protocole défini, identique sur la région, avec les mêmes observateurs sur le site de la Réserve depuis 18 ans (pas de biais de ce côté la).
Donc déjà toute cette partie la est calé.
J'ai également des données de baguage et d'écoute des chants d'oiseaux (tous les deux selon des protocoles défini et la même robustesse des données que le décadaire) à analyser, mais c'est plus secondaire.

Le truc c'est que l'équipe de la Réserve, ils ont jamais rien fait en stats sur leurs bases de données, donc déjà il a fallu que je débroussaille le machin... Et ils y connaissent pas grand chose en plus en stats, donc ils peuvent pas m'aider.. Et moi je m'aperçoit que j'y connais vraiment pas grand chose au final

En fait j'ai discuté avec mon ancien prof de stats, qui m'a déconseillé R vu la taille de ma base de données et vu le nombre d'info qu'il y a en colonne aussi.. Que si j'avais pas de script applicable direct j'allais y passer des heures et m'arracher les cheveux pour pas grand chose en résultats, que je pourrais l'utiliser que quand je ferais des test de comparaison de moyennes, et encore! Et en gros, il m'a conseillé de commencer par de la visualisation des données et de leurs distributions sur Excel. Et donc pour les courbes de tendance, essayer de trouver s'il y a un cycle dans les données et appliquer des moyennes mobiles pour essayer de lisser les fluctuations. Et s'il n'y en a pas de cycle (ce qui est mon cas), appliquer une régression linéaire qui est celle qui se positionnera quand même le mieux dans l'ensemble sur les données.
Donc ton histoire de suivre la loi normale, je ne m'en rappelle même pas dans mes cours, pas que je ne te crois pas, mais ça me surprend bien quoi.. Et pourquoi ça suit la loi de Poisson? Je suis allé revoir ce que c'était, je vois pas le lien

Bon c'est un peu beaucoup flou en ce moment avec le ras le bol donc désolé pour la mauvaise écriture.

Mais sinon je veux bien en discuter avec toi, sans soucis !

PtiLutin déprimé...

Ne t'inquiètes pas trop, je t'avoue que mon stage est vraiment orienté stats donc je ne fais presque que ça depuis 3 mois, mon maître de stage en a fait un peu et je suis pas mal habituée à R !

Sinon, à défaut, il y a un très bon logiciel qui s'appelle TRIM qui est conçu pour l'analyse des données de comptages d'oiseaux. Gratuit et validé au niveau européen. Utilisé notamment par la LPO etc. Il y a des limites donc c'est pour ça que je vais plus loin avec R. Je pense que tu peux utiliser TRIM sans souci, c'est facile à utiliser et plus robuste qu'une régression linéaire. Créé pour les gestionnaires et la facilité d'application (avec un peu de bonne volonté pour le côté stats). Si tu veux je t'explique ça plus en détails, j'ai lu le manuel en anglais en entier...

TRIM fait un modèle linéaire généralisé (GLM). Les GLM font peur mais c'est juste une extension des régressions linéaires et j'ai lu quelques trucs à ce sujet qui m'ont aidé à comprendre et que je peux te filer.

Mais à voir si tu peux l'utiliser : TRIM prend en compte une valeur par année ou une valeur par pas de temps régulier.

Pour info sous R, tu peux faire un glm assez simplement :
au lieu de lm(y~x)
c'est glm(y~x,family = "poisson") si données de comptage

glm(y~x,family = "gaussian") = lm(y~x) : la fonction lm() est un glm() pour lesquelles les données suivent la loi normale

L'analyse du GLM se fait alors avec :
- un test qui te dit si le modèle est bon ou non (selon la p value tu valides ou non le modèle en fonction du seuil à 5%)
- le test sur les paramètres (savoir si la pente est significativement différente de 0 ou non donc si par exemple (quand x = variable années) il y a un effet années ou si c'est stable)
- l'AIC pour comparer différents modèles : l'AIC calcule un compromis entre qualité et complexité du modèle, le meilleur modèle est celui qui a l'AIC la plus faible

J'ai également un code pour calculer une tendance : stable, incertaine, augmentation forte etc... que je peux te filer et t'expliquer. Bien apprécié des gestionnaires et choppé sur le script "officiel" pour la méthode d'analyse des données de STOC-EPS qui vient de sortir. TRIM utilise la même catégorisation des tendances.

Dans ce cas ce n'est pas beaucoup plus compliqué qu'une régression linéaire avec la fonction lm() et ta prise de décision sur la validation du modèle est rapide et assez simple.

Pour ma part, j'essaie d'aller un peu plus loin, mais tu peux te contenter d'un glm.

Bonne journée
Héloïse

aaaaaaaaah

Bon c'est pas contre toi hein, mais je m'aperçois que j'ai encore max de boulot et que si je le fais pas je vais me faire démonter au comité scientifique mais aussi pour mon rapport de stage, et ça me déprime bien comme il faut la...

J'ai entendu parler du logiciel trim, mais j'ai rien compris sincèrement à son utilisation. Va falloir que je l'installe et que j'essaye ! Je savais pas pour le pas de temps régulier, ça pourrait etre pas mal ça !!
merci en tout cas !

Désolé pour R, mais j'ai fais une overdose avec mon master (les chercheurs qui se débrouillent à faire dire aux chiffres ce qu'ils ont envie d'entendre et pas ce que les chiffres disent pour de vrai...), et j'ai capitulé là quand dans mon stage ils ont essayé de me faire travailler dessus (parce que d'autres leurs avaient dis que c'était bien.. alors que eux même ne connaissent pas :s)
R c'est bien quand ça fonctionne ya pas de soucis mais quand faut passer des heures pour écrire une foutue ligne de code qui te marque erreur à la fin à cause d'une majuscule qu'il fallait pas mettre alors qu'il te l'a sorti en réponse à ta demande précédente, tu pètes juste un cable quoi...

limite je me dis que comme mon stage c'est à la fois les stats et le reste de la gestion de la Réserve, je me dis que qqun d'autre reprendra derrière moi s'ils veulent pousser un peu plus les choses...

Ce qui m'énerve c'est que malgré mon coup de gueule, je suis sortie major de promo avec R l'année dernière, et de loin en plus ! Alors je plaint mes collègues s'ils ont des stats aussi à faire quoi

bon désolé pour le blabla
le glm, j'ai pas tout compris sincèrement..
le truc c'est que j'ai récupéré aussi des script R (encore et toujours), avec en effet du glm pour avoir revérifier, mais je vois pas comment mettre mes données pour fonctionner avec, ça me parait tellement abstrait.. pour ça que je préfère Excel, meme si c'est restreint...

PtiLutin déboussolé...

Je t'avoue qu'excel, pour traiter plus de 10 000 lignes, c'est la galère donc je suis vite passée à R ! Tu peux tout faire avec R, et ça c'est objectif et indépendant de toute intention de chercheur ! J'ai aussi eu des TP horribles avec R, mais le problème c'était surtout le prof.

Chacun son logiciel chouchou apparemment !

Je peux t'envoyer des fichiers sur TRIM pour mieux comprendre comment ça fonctionne, comment interpréter etc... Ca te fera gagner un temps fou je pense. Contacte-moi par mp.

Je suis d'accord avec toi quand tu as plus de 10 000 lignes, mais pour ma part, je dépasse pas 36 décades X 16 années (un peu plus de 500 lignes), donc ça va, yen a pas encore trop pour être obligé de passer sur R !

Mais je comprend très bien ton point de vue quand même !!

volontiers