Les posteurs les plus actifs de la semaine
Eric Wajnberg
Evaluation d'un modèle de classification (arbre de décision) Vote_lcapEvaluation d'un modèle de classification (arbre de décision) Voting_barEvaluation d'un modèle de classification (arbre de décision) Vote_rcap 
NALI
Evaluation d'un modèle de classification (arbre de décision) Vote_lcapEvaluation d'un modèle de classification (arbre de décision) Voting_barEvaluation d'un modèle de classification (arbre de décision) Vote_rcap 


Evaluation d'un modèle de classification (arbre de décision)

Aller en bas

Evaluation d'un modèle de classification (arbre de décision) Empty Evaluation d'un modèle de classification (arbre de décision)

Message par valimo le Jeu 26 Sep 2013 - 4:36

Bonjour à tous. Je fais actuellement une étude sur l'évaluation d'un modèle d'arbre de décision crée à partir de R(rpart) et Weka(J48).
j'utilise une base d'apprentissage le NSL-KDD avec une base training set et une base de test.
En effectuant l'évaluation sur la base de test: le taux d'erreur sur un arbre élagué est de 38% pour R et 31 % pour Weka.
Or l'article "Effective Network Intrusion Detection using Classifiers Decision Trees and Decision rules" donne une évaluation avec un arbre maximal qui effectivement a un taux d'erreur très faible sur une évaluation en validation croisée.
Alors ma question est: *Quel est le rôle de l'évaluation sur la base de test si elle n'indique rien sur la performance du modèle?
*Pourquoi dans cette article ils ne mentionnent en aucun cas l'élagage de l'arbre qui je pense une étape obligatoire lors de la conception d'un arbre de décision?

valimo

Nombre de messages : 2
Date d'inscription : 24/09/2013

Revenir en haut Aller en bas

Evaluation d'un modèle de classification (arbre de décision) Empty Re: Evaluation d'un modèle de classification (arbre de décision)

Message par droopy le Jeu 26 Sep 2013 - 8:15

bonjour,

première question est-ce que tu es sur de comparer ce qui est comparable ? Est-ce que les méthodes utilisées pour définir l'élagage sont les mêmes ? Est-ce que le jeu de données est le même ? Dans l'article il est question de sous échantillonnage. Est-ce que tu as testé les deux méthodes : validation croisé et jeu test ? etc.
droopy
droopy

Nombre de messages : 1129
Date d'inscription : 04/09/2009

Revenir en haut Aller en bas

Evaluation d'un modèle de classification (arbre de décision) Empty Re: Evaluation d'un modèle de classification (arbre de décision)

Message par valimo le Jeu 26 Sep 2013 - 15:31

Merci de me répondre.
En effet la base d'apprentissage et la base de test sont les mêmes sur la création du modèle rpart et weka que j'ai effectué.
J'ai oublié de mentionner que la méthode d'évaluation utilisé dans cet article est la validation croisée sur l'arbre maximal c'est pourquoi le taux d'erreur est très basse par rapport à celui obtenu avec la base de test.
Ainsi je reviens sur mes questions posés ci-dessus?

valimo

Nombre de messages : 2
Date d'inscription : 24/09/2013

Revenir en haut Aller en bas

Evaluation d'un modèle de classification (arbre de décision) Empty Re: Evaluation d'un modèle de classification (arbre de décision)

Message par Contenu sponsorisé


Contenu sponsorisé


Revenir en haut Aller en bas

Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum