Formations Data science

Evaluer la performance des modèles de Machine Learning et Deep Learning – Fondamentaux

Acquérir une base technique et maîtriser les indicateurs de performance clés

Format : Classe en présentiel / à distance
Répartition du temps : 40% exposé / 40% pratique / 20% échanges

Pré-requis

Connaissances de base en programmation.

Objectifs

A l’issue de cette formation, vous saurez :

  • Analyser la matrice de confusion d’un modèle de classification en choisissant un seuil.
  • Mesurer la performance d’un classifieur binaire en utilisant plusieurs métriques.
  • Evaluer les performances d’un classifieur multi-classes.
  • Mesurer la performance d’un modèle de régression avec une métrique adaptée.

Programme

Les cas pratiques seront réalisés sous Python (installation guidée en cas de première utilisation).

Jour 1 

1. Rappels Essentiels

  • Qu’est-ce qu’un modèle prédictif ?
  • Modèle de régression / classification
  • Exemples de cas pratiques d’évaluation d’un modèle

2. Evaluation des modèles de classification binaire

   2.1 La matrice de confusion, socle de toutes les métriques

  • Principe de la matrice de confusion, notion de seuil de classification
  • Les composantes de la matrice de confusion 
  • Evolution de la matrice avec le seuil de classification
  • Quel seuil choisir ?

Cas pratique :  Analyse d’un modèle de prédiction de grossesse

   2.2 L’accuracy, mesurer simplement l’efficacité d’un modèle

  • Définition, calcul et interprétation 
  • Evolution de l’accuracy avec le seuil de classification

Cas pratique :  Analyse d’un modèle de Machine Learning pour prédire les résiliations

 

Jour 2

    2.3 Precision et Recall, pour une analyse plus fine

  • Définition, calcul et interprétation 
  • Evolution de la precision et du recall avec le seuil de classification

Cas pratique :  Evaluation avancée du modèle de prédiction de résiliation

3. Evaluation des modèles de classification multi-classes

  • Modèle de classification multi-classes
  • Matrice de confusion d’un modèle multi-classes
  • Accuracy multi-classes

Cas pratique :  Mesure de la performance d’un modèle de Deep Learning pour le traitement d’images météo

4. Evaluation des modèles de régression

  • Erreur moyenne quadratique (Mean Squared Error)
  • Erreur moyenne absolue (Mean Absolute Error)
  • Coefficient de détermination R2 (R-square)
  • Métrique “fait maison” adaptée au cas d’usage
  • Quelle métrique choisir ?

Cas pratique :  Evaluation d’un modèle de Machine Learning pour prédire les rendements financiers

F1-score - performance evaluation

Public visé :

  • Actuaire
  • Analyste
  • Architecte
  • Data Scientist
  • Développeur
  • Statisticien

Cette formation vous intéresse ?

Nous contacter pour plus d’informations