Classification metrics - Evaluer les modèles de classification

Choisir la bonne métrique de classification et la traduire en indicateur de performance pertinent.

La variété des métriques de classification est souvent déroutante pour ceux qui veulent appréhender ces notions ou avoir leur mot à dire dans l’évaluation des projets : Accuracy, F1-score, Receiver Operating Characteristic (ROC) curve, Precision-Recall curve, Area Under Curve (AUC) ROC, AUC Precision-Recall… la liste est longue !

Choisir la bonne métrique et la comprendre est pourtant crucial à plusieurs titres :

  • elle doit être en parfaite cohérence avec les objectifs du business-case et ses données économiques
  • elle doit être statistiquement valide et adaptée à la structure des données
  • elle doit être la plus compréhensible possible pour les décideurs finaux

 

Nous vous proposons dans cette série d’articles d’avancer pas à pas, des fondamentaux jusqu’aux cas pratiques et en présentant l’ensemble des métriques essentielles, afin qu’évaluer un modèle de classification cesse d’être un casse-tête.

AUC PR_performance curves
L’AUC precision-recall permet d’évaluer la performance globale d’un modèle. Il est égal à 100% pour un modèle parfait et au taux de positifs pour un modèle non-informatif…
AUC ROC - Aire sous la courbe ROC
L’AUC ROC permet d’évaluer la performance globale d’un modèle à travers deux indicateurs : la sensitivity et la specificity. Il est égal à 100% pour un modèle parfait et à …