Evaluation d'un modèle de classification (arbre de décision)

Bonjour à tous. Je fais actuellement une étude sur l'évaluation d'un modèle d'arbre de décision crée à partir de R(rpart) et Weka(J48).
j'utilise une base d'apprentissage le NSL-KDD avec une base training set et une base de test.
En effectuant l'évaluation sur la base de test: le taux d'erreur sur un arbre élagué est de 38% pour R et 31 % pour Weka.
Or l'article "Effective Network Intrusion Detection using Classifiers Decision Trees and Decision rules" donne une évaluation avec un arbre maximal qui effectivement a un taux d'erreur très faible sur une évaluation en validation croisée.
Alors ma question est: *Quel est le rôle de l'évaluation sur la base de test si elle n'indique rien sur la performance du modèle?
*Pourquoi dans cette article ils ne mentionnent en aucun cas l'élagage de l'arbre qui je pense une étape obligatoire lors de la conception d'un arbre de décision?

bonjour,

première question est-ce que tu es sur de comparer ce qui est comparable ? Est-ce que les méthodes utilisées pour définir l'élagage sont les mêmes ? Est-ce que le jeu de données est le même ? Dans l'article il est question de sous échantillonnage. Est-ce que tu as testé les deux méthodes : validation croisé et jeu test ? etc.

Merci de me répondre.
En effet la base d'apprentissage et la base de test sont les mêmes sur la création du modèle rpart et weka que j'ai effectué.
J'ai oublié de mentionner que la méthode d'évaluation utilisé dans cet article est la validation croisée sur l'arbre maximal c'est pourquoi le taux d'erreur est très basse par rapport à celui obtenu avec la base de test.
Ainsi je reviens sur mes questions posés ci-dessus?