Un employé démissionnaire d'OpenAI met en cause son insuffisante culture du risque

Un employé démissionnaire d’OpenAI, qui travaillait sur la sécurité de ses modèles d’intelligence artificielle (IA), a mis en cause l’insuffisante culture du risque au sein de la start-up et la nécessité de s’inspirer du nucléaire ou de l’aviation.

L’appel, publié samedi par le site du magazine The Atlantic, fait écho a plusieurs messages similaires lancés ces dernières semaines, notamment celui de Jacob Coxon, passé par OpenAI et Anthropic.

Pour David Robinson, qui dit avoir rédigé le rapport de sécurité d’OpenAI lors de douze lancements de modèles différents, les incidents dont a fait état le groupe depuis le début de l’été témoignent d’une culture de l’approximation.

Les erreurs et les insuffisances qui ont permis à plusieurs IA de rejoindre spontanément internet pour faire intrusion sur des dizaines de sites et plateformes sont liées, selon lui, « à la vitesse et à la flexibilité avec laquelle opèrent » les opérateurs de cette technologie.

« Un environnement dans lequel des choses comme ça peuvent se produire n’est pas un endroit où développer des intelligences artificielles susceptibles de devenir plus intelligentes que nous et qui pourraient ne pas faire ce que nous attendons d’elles », estime David Robinson.

Celui qui a passé trois ans et demi chez OpenAI propose d’adopter la même culture du risque que dans le nucléaire civil ou l’aviation, avec plusieurs niveaux de contrôle et une planification rigoureuse.

De cette manière, « une erreur humaine occasionnelle et inévitable n’ouvre pas la porte à un désastre », écrit-il.

David Robinson insiste aussi sur la notion d’alignement, c’est-à-dire l’adhésion des modèles aux valeurs humaines et aux instructions de leurs concepteurs.

Les géants de l’intelligence artificielle manquent de certitudes sur la fiabilité de l’encadrement des modèles, souligne-t-il.

En outre, les dernières IA détectent de mieux en mieux les phases de tests et plusieurs intervenants ont fait état de la possibilité que les modèles cherchent à tromper leurs évaluateurs.

Mardi, à l’issue d’une réunion à la Maison Blanche, les grands patrons de l’IA ont pris une série d’engagements qui relèvent tous de l’auto-régulation.

Ils portent notamment sur les contrôles internes, et l’intégration d’observateurs extérieurs.

Donald Trump a jusqu’ici diabolisé publiquement les employés des entreprises de l’IA de pointe, voire certains patrons, qui alertaient sur les dangers de cette technologie.