Forum de Statistiques
Vous souhaitez réagir à ce message ? Créez un compte en quelques clics ou connectez-vous pour continuer.
Les posteurs les plus actifs de la semaine
Aucun utilisateur

Le Deal du moment :
Aliexpress : codes promo valables sur tout le site
Voir le deal

Evaluation d'un modèle de classification (arbre de décision)

2 participants

Aller en bas

arbre - Evaluation d'un modèle de classification (arbre de décision) Empty Evaluation d'un modèle de classification (arbre de décision)

Message par valimo Jeu 26 Sep 2013 - 4:36

Bonjour à tous. Je fais actuellement une étude sur l'évaluation d'un modèle d'arbre de décision crée à partir de R(rpart) et Weka(J48).
j'utilise une base d'apprentissage le NSL-KDD avec une base training set et une base de test.
En effectuant l'évaluation sur la base de test: le taux d'erreur sur un arbre élagué est de 38% pour R et 31 % pour Weka.
Or l'article "Effective Network Intrusion Detection using Classifiers Decision Trees and Decision rules" donne une évaluation avec un arbre maximal qui effectivement a un taux d'erreur très faible sur une évaluation en validation croisée.
Alors ma question est: *Quel est le rôle de l'évaluation sur la base de test si elle n'indique rien sur la performance du modèle?
*Pourquoi dans cette article ils ne mentionnent en aucun cas l'élagage de l'arbre qui je pense une étape obligatoire lors de la conception d'un arbre de décision?

valimo

Nombre de messages : 2
Date d'inscription : 24/09/2013

Revenir en haut Aller en bas

arbre - Evaluation d'un modèle de classification (arbre de décision) Empty Re: Evaluation d'un modèle de classification (arbre de décision)

Message par droopy Jeu 26 Sep 2013 - 8:15

bonjour,

première question est-ce que tu es sur de comparer ce qui est comparable ? Est-ce que les méthodes utilisées pour définir l'élagage sont les mêmes ? Est-ce que le jeu de données est le même ? Dans l'article il est question de sous échantillonnage. Est-ce que tu as testé les deux méthodes : validation croisé et jeu test ? etc.
droopy
droopy

Nombre de messages : 1156
Date d'inscription : 04/09/2009

Revenir en haut Aller en bas

arbre - Evaluation d'un modèle de classification (arbre de décision) Empty Re: Evaluation d'un modèle de classification (arbre de décision)

Message par valimo Jeu 26 Sep 2013 - 15:31

Merci de me répondre.
En effet la base d'apprentissage et la base de test sont les mêmes sur la création du modèle rpart et weka que j'ai effectué.
J'ai oublié de mentionner que la méthode d'évaluation utilisé dans cet article est la validation croisée sur l'arbre maximal c'est pourquoi le taux d'erreur est très basse par rapport à celui obtenu avec la base de test.
Ainsi je reviens sur mes questions posés ci-dessus?

valimo

Nombre de messages : 2
Date d'inscription : 24/09/2013

Revenir en haut Aller en bas

arbre - Evaluation d'un modèle de classification (arbre de décision) Empty Re: Evaluation d'un modèle de classification (arbre de décision)

Message par Contenu sponsorisé


Contenu sponsorisé


Revenir en haut Aller en bas

Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum