Les clusters d’IA calculent à la vitesse de la lumière

Booster la transmission de données des clusters d’intelligence artificielle est l’un des objectifs de la photonique sur silicium. En avril dernier, le CEA-Leti, le CEA-List et l’entreprise Powerchip semiconductor manufacturing corporation (PSMC) ont annoncé une collaboration stratégique pour le développement d’architectures de processeurs d’IA à base de photonique sur silicium. Plus précisément, les travaux consisteront à étudier l’utilisation d’architectures de processeurs RISC-V personnalisables et l’utilisation des microLEDs (LED GaN de taille micrométrique) pour la communication optique. Techniques de l’Ingénieur vous propose de revenir sur les limites des interconnexions de cuivre et les différents développements de la photonique dans les datacenters d’IA avec Éléonore Hardy, responsable des partenariats en photonique sur silicium au CEA-Leti.

Techniques de l’Ingénieur – Quelles sont aujourd’hui les limites que rencontrent les clusters d’IA ?

Eléonore Hardy : Avec l’explosion de l’intelligence artificielle, les calculateurs des datacenters ont besoin d’un accès important à la mémoire. Cet accès demande de grosses bandes passantes dans les interconnexions ainsi que des latences faibles pour pouvoir gérer en temps réel les calculs. Le cuivre, qui est actuellement utilisé, a justement des limites sur ce point : il est capable de faire passer quelques gigabits par seconde par voie sur quelques mètres au niveau d’un nœud de calcul ou quelques centimètres quand il s’agit de relier des GPU et leurs mémoires partagées, avec une certaine latence. Les interconnexions actuelles des datacenters sont suffisantes pour répondre aux besoins des usages des dernières années comme l’accès à des vidéos en streaming. Mais les grands modèles de langage de l’intelligence artificielle demandent une forte augmentation de la bande passante pour les interconnexions entre GPU et pour les accès mémoire, tout en réduisant la latence. Nous avons donc besoin de concevoir de nouvelles architectures avec de nouveaux types d’interconnexions.

Dont la photonique ?

Effectivement. En fait, la fibre optique est déjà en place dans les clusters d’IA, mais à l’extérieur des racks. Elle permet de faire des liens sur de grandes distances, pour connecter deux datacenters entre eux par exemple ou différents serveurs d’un même datacenter. L’électronique du rack est connectée à la fibre optique via un transceiver, un émetteur-récepteur qui convertit le signal transmis par les photons en signal transmis par les électrons. Aujourd’hui, la grande tendance est de passer le plus de données dans les canaux existants, notamment à base de fibre optique monomode, pour faire du multiplexage en longueur d’onde. C’est la voie qui va être majoritaire dans les prochaines années parce que les technologies sont matures et peuvent être déployées. Mais depuis l’année dernière, grâce à l’annonce de routeurs Ethernet Nvidia avec des commutateurs en photonique sur silicium, l’intégration de la photonique dans les racks au plus proche du calcul est devenue réelle. Cette solution, que l’on appelle co-package optics (CPO) et qui vient en remplacement des interconnexions électriques, est maintenant mise sur le marché.

Une autre révolution est également en marche, comme le montre la collaboration entre le CEA-List, le CEA-Leti et PSCM…

Je ne sais pas si on peut parler de révolution, en tout cas ce sera un changement d’architecture important. Les architectures à base de microLEDs sont très différentes des approches actuelles, même si elles rejoignent une tendance « wide and slow » qui consiste à utiliser de multiples canaux à faible débit. L’avantage avec l’approche à base de microLEDs est de pouvoir atteindre des niveaux de consommation électrique encore plus faible qu’avec les autres technologies de photonique intégrée. Les simulations actuelles montrent que l’on pourrait gagner un facteur 5 par rapport à la photonique intégrée, et un facteur 10 par rapport aux interconnexions électriques. Il y a une vraie problématique de consommation électrique dans les clusters d’IA, et cette solution à base de microLED est un bon espoir pour l’avenir pour réduire leur consommation électrique. D’où notre collaboration avec PSMC pour envisager le déploiement industriel de ce genre de solution.

Comment fonctionne-t-elle ?

L’idée est de coupler la capacité réduite en bande passante de chaque microLED, en réalisant une matrice, pour avoir une quantité de données agrégées conséquente. Il est donc nécessaire d’avoir une architecture complète qui permet de coupler cette lumière modulée des microLEDs dans des bundles de fibres optiques multicœurs, qui vont transporter les données en parallèle pour les agréger sur un imageur. Mais ces technologies sont moins matures, c’est une approche complètement novatrice, peu d’acteurs dans le monde travaillent sur le sujet.

Est-ce que ces nouvelles technologies vont nécessiter un changement complet d’architecture ?

L’intégration de CPO dans le rack n’est pas très compliquée en termes d’architecture. Simplement, on change de switch et il y a quelques ajustements à réaliser au niveau du rack. Ce qui devrait être beaucoup plus impactant, c’est si les architectes système se disent qu’il serait plus pertinent de séparer la mémoire du calcul avec chacun un rack dédié, alors qu’aujourd’hui tout se fait dans le même rack. La photonique ouvre le champ des possibles aux architectes.