Comprendre l’optimisation des modèles de langage
Comprendre le fonctionnement des IA génératives

3.1 Le « fine tuning »

Le fine tuning consiste à ajuster un modèle pré-entraîné sur des données supplémentaires ou spécifiques à une tâche donnée (par exemple, la traduction ou la classification de texte).

Cette méthode est utilisée pour adapter un modèle à un contexte particulier sans avoir à le réentraîner entièrement. Par exemple, GPT qui est initialement formé sur un vaste corpus généraliste peut être affiné sur un ensemble de données spécifiques pour exceller dans une tâche telle que la rédaction de rapports médicaux.

3.2 L’Apprentissage par renforcement

Certaines versions de modèles de langage peuvent utiliser l’apprentissage par renforcement pour améliorer les réponses en interaction avec des utilisateurs humains. Le modèle est récompensé lorsqu’il produit des résultats jugés de bonne qualité par les utilisateurs.

ChatGPT utilise des méthodes d’apprentissage par renforcement avec retour humain (RLHF, reinforcement learning from humanfeedback). Les utilisateurs peuvent, grâce à des icônes placées sous chaque réponse, évaluer la qualité du résultat. Les réponses qui reçoivent de bonnes évaluations voient leur pondération ajustée pour favoriser la génération de réponses similaires à l’avenir. Inversement, les réponses jugées de mauvaise qualité sont pénalisées, ce qui incite le modèle à éviter de générer de telles réponses. Ces retours humains peuvent contribuer à réduire les biais ou les réponses offensantes. En revanche, les annotateurs humains peuvent introduire leurs propres biais dans l’évaluation des réponses, ce qui peut se refléter dans le comportement du modèle.

Il est également possible d’ajuster le modèle pour qu’il respecte des contraintes éthiques : c’est le cas du modèle de langage...