Apprentissage Statistique Supervisé

INTRODUCTION

1 - CADRE GÉNÉRAL DE L’APPRENTISSAGE ARTIFICIEL STATISTIQUE

• 1.1 - Apprentissage artificiel = statistique + optimisation
  Figure 1 - Les divers types d’apprentissage statistique Figure 2 - Schématisation du formalisme général de l’apprentissage supervisé
• 1.2 - Principes méthodologiques pour l’apprentissage supervisé

  • Quiz d'entraînement
  Figure 3 - Chaîne de traitement usuelle pour les techniques « classiques » (i.e. non profondes) d’apprentissage statistique supervisé Figure 4 - Illustration du phénomène de surapprentissage Figure 5 - Illustration du cas de la 3-fold cross-validation

2 - TECHNIQUES « CLASSIQUES » D’APPRENTISSAGE SUPERVISÉ

• 2.1 - Classification vs régression
  Figure 6 - Classification vs Régression
• 2.2 - Réseaux neuronaux à couches
  Figure 7 - Neurone sommateur dérivable Figure 8 - Un exemple de réseau neuronal à couches, avec 3 entrées, 2 couches cachées (une de 4 neurones, suivie d’une de 6 neurones), et une couche de sortie à 2 neurones ; chacun des ronds correspond à un neurone de type sommateur à activation sigmoïde Figure 9 - À droite, visualisation des hyperplans correspondant aux 3 neurones de la première couche cachée après apprentissage sur un problème de classification en dimension 2 (et à deux classes, voir base d’apprentissage à gauche) Figure 10 - Schéma partiel interne d’un réseau neuronal à couches, pour comprendre le calcul du gradient de l’erreur par rapport à un des poids Wji Figure 11 - Illustration du principe du dropout, méthode empririque de régularisation pour les réseaux neuronaux
• 2.3 - Séparateurs à Vastes Marges (SVM, Support Vector Machines)

  • Quiz d'entraînement
  Figure 12 - Illustration (dans le cas d’un espace des entrées à 2 dimensions) du principe de maximisation de la marge Figure 13 - Exemple d’un problème devenant linéairement séparable en passant dans un autre espace des entrées Figure 14 - Illustration de l’influence de C : quand elle est très petite, l’optimisation va bien classer tous les exemples d’apprentissage, quitte à faire une frontière très complexe, et à « surapprendre » (schéma de gauche) ; quand C est très grande, l’optimisation simplifiera le modèle au maximum, quitte à mal apprendre (schéma du milieu) ; il est donc essentiel pour les SVMs de trouver (par validation croisée) une valeur de C correspondant au compromis optimal pour la généralisation (schéma de droite)
• 2.4 - Arbres de décision
  Figure 15 - Exemple d’arbre de décision sur un cas où les données sont « symboliques » Figure 16 - Exemple de partition d’un espace d’entrée de dimension 2 (à gauche) par un arbre de décision (représenté à droite)
• 2.5 - Forêts Aléatoires
  Figure 17 - Courbe montrant l’erreur du vote majoritaire du comité (pour M = 25) en fonction de ε. On peut y constater la puissance du principe ensembliste : par exemple pour ε = 0,35 la probabilité d’erreur du comité tombe à 5 % Figure 18 - Schématisation de l’apprentissage d’une forêt aléatoire : chaque arbre est appris sur un sous-ensemble doublement randomisé de l’ensemble d’apprentissage (tirage aléatoire d’exemples, et tirage aléatoire d’un ensemble restreint de coordonnées)
• 2.6 - Boosting

  • Quiz d'entraînement
  Figure 19 - Illustration du principe du boosting Figure 20 - Illustration de la courbe d’apprentissage typique du boosting, où l’on voit bien que la performance optimale ne s’atteint que pour un nombre T d’étapes bien plus grand que celui à partir duquel l’erreur d’apprentissage devient nulle

3 - APPRENTISSAGE PROFOND (DEEP-LEARNING)

• 3.1 - Principe et originalité
  Figure 21 - Chaîne de traitement de l’apprentissage profond (à droite) comparé à celle usuelle avec les techniques « classiques » d’apprentissage
• 3.2 - Réseaux neuronaux convolutionnels
  Figure 22 - Schéma illustrant les calculs effectués par une carte de neurones à poids partagés d’une couche de convolution ; il est important de noter que le filtre (et donc la convolution) traite simultanément les C canaux de la grille d’entrée Figure 23 - À gauche, schématisation d’une couche de convolution. À droite, illustration de ce que produit une telle couche : plusieurs transformations de l’image d’entrée, chacune obtenue par application de l’un des filtres de la couche Figure 24 - Schématisation du principe d’une couche de pooling (à gauche, la transformation effectuée, et à droite exemple de résultat de pooling) Figure 25 - Architecture typique des réseaux convolutionnels (en haut), et aspects des filtres appris pour les couches successives (en bas)
• 3.3 - Apprentissage des réseaux neuronaux convolutionnels
• 3.4 - ConvNets pré-appris et apprentissage « par transfert »
  Figure 26 - Architecture de LeNet, premier et plus simple des réseaux convolutionnels Figure 27 - Architecture du réseau AlexNet ; comme pour tous les réseaux convolutionnels, on peut distinguer les premières couches qui extraient une hiérarchie de features, et les dernières qui réalisent la classification Figure 28 - Illustration du principe d’apprentissage par transfert pour les réseaux convolutionnels Figure 29 - Architecture du réseau convolutionnel VGG Figure 30 - Architecture du réseau convolutionnel Inception Figure 31 - Architecture du réseau convolutionnel ResNet
• 3.5 - Hyper-paramètres des réseaux convolutionnels
• 3.6 - Points forts et points faibles des réseaux convolutionnels

4 - SYNTHÈSE COMPARATIVE

• Quiz d'entraînement

5 - CONCLUSION

6 - GLOSSAIRE

7 - SIGLES, NOTATIONS ET SYMBOLES

TEST DE VALIDATION