Acquérir une base technique et maîtriser les indicateurs de performance clés
Format : Classe en présentiel / à distance
Répartition du temps : 40% exposé / 40% pratique / 20% échanges
Pré-requis
Connaissances de base en programmation.
Objectifs
A l’issue de cette formation, vous saurez :
- Analyser la matrice de confusion d’un modèle de classification en choisissant un seuil.
- Mesurer la performance d’un classifieur binaire en utilisant plusieurs métriques.
- Evaluer les performances d’un classifieur multi-classes.
- Mesurer la performance d’un modèle de régression avec une métrique adaptée.
Programme
Les cas pratiques seront réalisés sous Python (installation guidée en cas de première utilisation).
Jour 1
1. Rappels Essentiels
- Qu’est-ce qu’un modèle prédictif ?
- Modèle de régression / classification
- Exemples de cas pratiques d’évaluation d’un modèle
2. Evaluation des modèles de classification binaire
2.1 La matrice de confusion, socle de toutes les métriques
- Principe de la matrice de confusion, notion de seuil de classification
- Les composantes de la matrice de confusion
- Evolution de la matrice avec le seuil de classification
- Quel seuil choisir ?
Cas pratique : Analyse d’un modèle de prédiction de grossesse
2.2 L’accuracy, mesurer simplement l’efficacité d’un modèle
- Définition, calcul et interprétation
- Evolution de l’accuracy avec le seuil de classification
Cas pratique : Analyse d’un modèle de Machine Learning pour prédire les résiliations
Jour 2
2.3 Precision et Recall, pour une analyse plus fine
- Définition, calcul et interprétation
- Evolution de la precision et du recall avec le seuil de classification
Cas pratique : Evaluation avancée du modèle de prédiction de résiliation
3. Evaluation des modèles de classification multi-classes
- Modèle de classification multi-classes
- Matrice de confusion d’un modèle multi-classes
- Accuracy multi-classes
Cas pratique : Mesure de la performance d’un modèle de Deep Learning pour le traitement d’images météo
4. Evaluation des modèles de régression
- Erreur moyenne quadratique (Mean Squared Error)
- Erreur moyenne absolue (Mean Absolute Error)
- Coefficient de détermination R2 (R-square)
- Métrique “fait maison” adaptée au cas d’usage
- Quelle métrique choisir ?
Cas pratique : Evaluation d’un modèle de Machine Learning pour prédire les rendements financiers
Ces formations pourraient aussi vous intéresser :
- 2 jours
- 1 200€
