Transformer : des réseaux de neurones pour le traitement automatique des langues

Les technologies linguistiques figurent en bonne place parmi les applications de l’intelligence artificielle (IA) et touchent aujourd’hui le grand public. Elles sont essentielles pour accéder efficacement aux informations textuelles disponibles sur le Web ou dans les grandes bases documentaires. Elles permettent de nouvelles formes d’interactions avec la machine, par la voix ou par le biais de dispositifs d’aide à la saisie ou à la rédaction. Elles facilitent aussi la communication avec d’autres humains, par exemple avec les systèmes de traduction automatique. De manière plus souterraine, ces algorithmes organisent et sélectionnent la masse de textes et d’enregistrements audio qui circulent sur la toile et sur les réseaux sociaux. Elles transforment ainsi la gestion de ces données.

Cette transition s’est accélérée au fur et à mesure que ces technologies devenaient plus performantes, pour des utilisations toujours plus larges et variées. Ces progrès résultent de la conjonction de plusieurs facteurs : d’une part, le développement d’algorithmes d’apprentissage automatique de plus en plus sophistiqués, capables de tirer profit de l’amélioration des dispositifs matériels (hardware) de calcul ; d’autre part, la possibilité d’accéder à de très grandes masses de données textuelles, annotées ou non annotées, pour réaliser ces apprentissages.

Parmi les algorithmes, les algorithmes neuronaux, en particulier l’architecture Transformer, figurent au premier rang. Cette architecture est devenue centrale pour réaliser trois types de traitements qui jusqu’alors nécessitaient des composants dédiés. En premier lieu, les algorithmes de fouille de texte et de recherche d’information bénéficient de la richesse des représentations internes calculées par ce modèle. Ensuite, les algorithmes d’analyse linguistique tirent parti de la capacité des Transformers à prendre en compte des dépendances à très longue distance. Enfin, les algorithmes de génération de texte utilisent ces modèles, principalement pour leur capacité prédictive.

De plus, cette architecture se prête au traitement de données orales, voire multimodales, et permet des calculs efficaces à très grande échelle. On comprend mieux pourquoi ce modèle s’est imposé comme le véritable couteau suisse de l’ingénieur linguiste.