(Grands) modèles de langue
Optimiser l’IA générative avec le RAG - La génération de réponses à partir de LLMs, augmentée par la recherche d’information

Les premiers modèles de langue probabilistes ont été créés il y a de nombreuses années, et s’inspirent des travaux cherchant à modéliser les langues humaines et les langages informatiques à l’aide de chaînes de Markov. Des modèles ont été exploités dans le cadre du traitement automatique des langues, et de la reconnaissance de la parole, dès les années 1980-1990, et permettent d’estimer la probabilité d’apparition d’un mot en fonction des mots précédents. Exploitant un historique court (un seul mot précédent pour les modèles unigrammes, deux et trois pour les modèles bigrammes et trigrammes), ces modèles ne permettaient pas de prendre en compte des dépendances au-delà de quelques mots, et géraient avec difficulté les mots rares et nouveaux.

Les grands modèles de langue ( Large Language Models ou LLMs) sont apparus à la fin...