Évaluation d’une solution RAG
Optimiser l’IA générative avec le RAG - La génération de réponses à partir de LLMs, augmentée par la recherche d’information

L’évaluation automatisée du RAG est une tâche d’autant plus délicate que l’architecture adoptée est complexe. Tout d’abord, chaque module peut faire l’objet d’une évaluation indépendante. Ensuite, la réponse elle-même, générée par le LLM, peut être évaluée, selon plusieurs dimensions informationnelles (pertinence, exactitude, complétude) et linguistiques (lisibilité, fluidité, complexité). Il s’agit alors de vérifier que les réponses fournies sont présentes dans les documents du contexte, ou qu’elles peuvent en être déduites, et qu’elles sont suffisamment concises, se limitant à ce qui est recherché, et qui est utile pour la compréhension, et la validation, de la réponse.

Il est aussi intéressant d’estimer l’utilité du système du point de vue de l’utilisateur : temps nécessaire pour trouver une réponse satisfaisante, temps gagné par rapport à l’usage d’un moteur...