Glossaire
Transformer : des réseaux de neurones pour le traitement automatique des langues

Annotation ; Labeling

Les données annotées sont nécessaires pour guider l’apprentissage supervisé. Les annotations peuvent porter sur un texte, une phrase, ou encore des mots isolés ; elles peuvent être de nature linguistique (morphologique, syntaxique, sémantique), ou encore représenter la sortie d’une tâche de traitement (par exemple la polarité d’un texte, ou encore l’équivalence sémantique entre deux phrases).

Affinage ; Finetuning

Un modèle entraîné pour une tâche particulière (par exemple un sur une tâche de modèle de langue) peut être transféré vers une autre tâche en prolongeant l’apprentissage avec d’autres types de données ou d’annotations : c’est l’étape d’affinage. Ainsi, les paramètres d’un modèle comme BERT pourront être spécialisés en utilisant quelques exemples d’une tâche d’analyse de sentiments. L’affinage de modèles est une...