Maîtriser l’ensemble des métriques de classification et les traduire en performances opérationnelles
Format : Classe en présentiel / à distance
Répartition du temps : 40% exposé / 40% pratique / 20% échanges
Pré-requis
- Connaissances de base en programmation.
- Avoir suivi la formation “Evaluer la performance des modèles en Machine Learning et Deep Learning – Fondamentaux” ou avoir des connaissances sur les principales métriques de classification (Matrice de confusion, Accuracy, Precision, Recall).
Objectifs
A l’issue de cette formation, vous saurez :
- Calculer l’ensemble des métriques de classification usuelles, en binaire ou multi-classes.
- Choisir la métrique la plus adaptée en fonction des données et de la demande opérationnelle.
- Interpréter la valeur des métriques.
- Communiquer vos résultats à des décideurs non-experts.
Programme
Les cas pratiques seront réalisés sous Python (installation guidée en cas de première utilisation).
Jour 1
1. Métriques de classification à seuil, rappels et compléments
1.1 Rappels
- Matrice de confusion
- Accuracy, Precision et Recall
1.2 Sensitivity, Specificity et courbe ROC
1.3 F1-score et F-beta score
Cas pratique : F1-score et courbe ROC d’un modèle de credit scoring
2. Cas limites des modèles de classification : modèles parfait et non-informatif
- Comportement des métriques pour un modèle parfait
- Comportement des métriques pour un modèle non-informatif
3. Evaluer la performance globale d’un modèle
- Qu’est-ce qu’une métrique globale ?
- AUC Precision-Recall
- AUC ROC
Cas pratique : AUC Precision-Recall et AUC ROC du modèle de credit scoring
4. Communiquer la performance aux décideurs
- Traduire les performances en marges de manœuvre opérationnelles pour se positionner en aide à la décision.
- Precision-Recall et Cumulative Gain curve, une combinaison idéale pour transférer l’arbitrage aux décideurs.
ATELIER : Présenter la performance d’un modèle à des décideurs. Travail en équipes (1 jeu de données + 1 modèle Machine Learning / Deep Learning par équipe) et présentation des arbitrages à un décideur.
Jour 2
5. Mesurer la performance en classification multi-classes
- Micro et macro-averaging
- F1-score multi-classe
- Kappa score
Cas pratique : Evaluation d’un modèle de Deep Learning pour l’identification d’images météo.
6. Mesurer la performance en présence de données déséquilibrées
- Introduction aux données déséquilibrées
- Robustesse des métriques au déséquilibre des données
7. Quelle métrique choisir ?
- Différence entre métrique d’optimisation du modèle et métrique finale
- Choisir en fonction du cadre opérationnel et du déséquilibre des données
ATELIER : Choisir la bonne métrique de classification. Travail en équipes (1 jeu de données + 1 modèle Machine Learning / Deep Learning par équipe). A partir de la structure des données et de la demande opérationnelle, choix d’une ou plusieurs métriques pour évaluer le modèle. Analyse des performances et présentation des résultats au groupe.
Ces formations pourraient aussi vous intéresser :
- 2 jours
- 950€
