Optimiser l’IA générative avec le RAG - La génération de réponses à partir de LLMs, augmentée par la recherche d’information

Sans l’IA générative et la génération de réponses assistée, la recherche d’information est réalisable à l’aide de moteurs de recherche qui, à partir de documents non structurés, répondent aux requêtes seulement par des listes de documents, ou bien par l’interrogation de bases de données, qui nécessitent une organisation complexe et coûteuse des données sources. Le RAG ( Retrieval Augmented Generation ) est une troisième voie, qui permet d’intégrer la recherche d’information aux usages majeurs des agents conversationnels.

Les années 2010-2020 ont vu l’émergence d’approches de l’apprentissage machine neuronal et du traitement automatique des langues, qui ont rapidement été exploitées pour la recherche et l’extraction d’information et, plus largement encore, pour l’ingénierie des connaissances. Les grands modèles de langue aident non seulement à obtenir des représentations sémantiques de documents, mais aussi, sous leur forme générative, à créer des réponses fluides et compréhensibles à des questions complexes, exprimées sous forme de « prompts ».

Malheureusement, le coût d’entraînement des grands modèles de langue limite cette opération à une poignée d’acteurs de l’IA qui, outre le fait de disposer d’infrastructures de calcul hors normes, exploitent des données qui s’étendent bien au-delà du seul Web public. Même si l’affinage des grands modèles de langue pré-entraînés et diffusés librement est une opération moins coûteuse qu’un entraînement complet, et permet une adaptation à des domaines de spécialité ou à des données privées, il n’est pas suffisant pour déployer des moteurs de recherche sûrs. En effet, l’affinage doit demeurer léger, sous peine de rendre le modèle incapable de générer du texte compréhensible. Un modèle, même affiné, reste tributaire de ses données d’entraînement d’origine. Prétendre vouloir répondre à des questions précises à l’aide d’un modèle génératif seul entraîne ainsi un risque grand d’obtenir des réponses obsolètes, erronées (hallucinations), ou confuses, du seul fait de la présence d’informations contradictoires dans les données d’entraînement. En outre, exploitées sans précaution, ces masses de données reflètent des biais sociétaux majeurs, et mélangent sans discernement opinions et fausses informations.

À défaut d’être une solution miracle et universelle, le RAG permet de réduire les risques qui viennent d’être énoncés. L’idée principale est de forcer le grand modèle de langue à générer des réponses dont les informations proviennent d’un ensemble de données présélectionnées à la volée en fonction de la requête. Les connaissances générales du modèle ne doivent servir qu’à assurer la compétence linguistique utile à la génération d’une réponse compréhensible.

...