Classification metrics - Evaluer les modèles de classification

Choisir la bonne métrique de classification et la traduire en indicateur de performance pertinent.

La variété des métriques de classification est souvent déroutante pour ceux qui veulent appréhender ces notions ou avoir leur mot à dire dans l’évaluation des projets : Accuracy, F1-score, Receiver Operating Characteristic (ROC) curve, Precision-Recall curve, Area Under Curve (AUC) ROC, AUC Precision-Recall… la liste est longue !

Choisir la bonne métrique et la comprendre est pourtant crucial à plusieurs titres :

elle doit être en parfaite cohérence avec les objectifs du business-case et ses données économiques
elle doit être statistiquement valide et adaptée à la structure des données
elle doit être la plus compréhensible possible pour les décideurs finaux

Nous vous proposons dans cette série d’articles d’avancer pas à pas, des fondamentaux jusqu’aux cas pratiques et en présentant l’ensemble des métriques essentielles, afin qu’évaluer un modèle de classification cesse d’être un casse-tête.

Classification metrics

Modèle de classification parfait et modèle non-informatif

Modèle parfait : les positifs ont toujours une probabilité strictement supérieure aux négatifs. Modèle non-informatif : les positifs ont la même distribution de …

Classification metrics

Matrice de confusion, la comprendre et l’utiliser

Socle de toutes les métriques de classification, la matrice de confusion permet d’analyser la performance et les erreurs d’un modèle qui génère des probabilités. A partir d’un seuil, elle convertit ces probabilités…

Classification metrics

Precision, Recall et Precision-Recall curve

Comment calculer la precision et le recall d’un modèle à partir de ses probabilités prédites et comment les interpréter ? Pour optimiser la précision, un compromis doit …

Classification metrics

L’AUC Precision-Recall

L’AUC precision-recall permet d’évaluer la performance globale d’un modèle. Il est égal à 100% pour un modèle parfait et au taux de positifs pour un modèle non-informatif…

Classification metrics

Sensitivity, Specificity et ROC curve

Comment calculer la sensitivity et la specificity d’un modèle à partir de ses probabilités prédites et comment les interpréter ? Pour optimiser la sensitivity, un compromis doit …

Classification metrics

L’AUC ROC

L’AUC ROC permet d’évaluer la performance globale d’un modèle à travers deux indicateurs : la sensitivity et la specificity. Il est égal à 100% pour un modèle parfait et à …

Classification metrics

Accuracy : définition, calcul et limites

L’accuracy mesure l’efficacité d’un modèle à prédire correctement à la fois les individus positifs et négatifs. Sa valeur dépend du seuil de classification pour convertir …

Classification metrics

La Balanced Accuracy Weighted, pour aller plus loin que l’accuracy

La Balanced Accuracy Weighted (BAW) est une famille de métriques qui permet de généraliser l’accuracy et de l’adapter au cas des données déséquilibrées (imbalanced data) …

Classification metrics

F1-score, la synthèse entre precision et recall

Le F1-score permet de mesurer la capacité d’un modèle de classification à prédire efficacement les positifs, en calculant un compromis entre la precision et le recall …

Classification metrics

Métriques multi-classe simples

Lorsqu’un modèle prédit plus de deux classes, l’évaluation de sa performance devient plus difficile, mais on peut adapter les méthodes binaires …

Classification metrics

Métriques multi-classe complexes

Pour évaluer de façon plus fine la performance des modèles multi-classe, on utilise de façon plus complexe les approches per-class, macro et micro …

Me contacter :

07 81 74 98 26

contact@kobia.fr

© Kobia