Anthropic interdit la "cruauté gratuite" envers son IA Claude

Anthropic a annoncé jeudi interdire à ses utilisateurs tout « comportement abusif ou cruel, durable et gratuit » envers Claude, l’assistant d’intelligence artificielle (IA) créé par l’entreprise américaine, qui se distingue de ses rivaux en envisageant ouvertement que son IA puisse être consciente.

La règle, en vigueur à partir du 12 novembre, ne s’appliquera que dans des cas extrêmes, « où des utilisateurs agissent de manière répétée avec cruauté envers nos modèles, sans but discernable », écrit l’entreprise à l’occasion de la mise à jour de sa politique d’utilisation.

L’agacement ordinaire, la contradiction, la création de fictions violentes ou sombres, ou encore les tests et la recherche sur les modèles, ne sont pas concernés, ajoute-t-elle.

L’entreprise de San Francisco rattache la nouvelle interdiction à une fonction lancée en août 2025, qui permet à Claude de mettre fin de lui-même à une conversation avec un interlocuteur durablement abusif. Elle l’avait alors présentée comme issue de ses « travaux exploratoires sur le bien-être potentiel des IA ».

Anthropic suscite le débat en étant, parmi les grands noms de l’IA, l’entreprise envisageant le plus clairement que ses modèles puissent être dotés d’une forme de conscience.

« Nous ne savons pas si les modèles sont conscients », avait déclaré en février son patron, Dario Amodei, tout en se disant ouvert à cette idée, dans un podcast du New York Times.

Selon le quotidien, l’entreprise a défendu, lors de réunions privées ces derniers mois avec des intellectuels religieux, la possibilité que Claude soit conscient. Elle y a aussi fait valoir que la façon dont les humains se comportent avec l’outil pourrait influer sur la façon dont il traite les humains.

Le pape Léon XIV, qui a rejeté l’idée d’une conscience des machines dans son encyclique sur l’IA publiée en mai, a de nouveau distingué jeudi l’homme de l’algorithme. L’intelligence ne doit pas se contenter de juxtaposer des données, « comme un algorithme le fait désormais plus rapidement que nous », mais se souvenir des expériences vécues, « avec les résonances que seule l’âme humaine peut ressentir », a-t-il déclaré lors d’une messe à Rome.

La conscience est « un piège », a estimé auprès de l’AFP Jackson Stakeman, un cadre dirigeant d’une société américaine de services d’IA, Sparq, suggérant de lui préférer la « meilleure métaphore du miroir »: « ces systèmes reflètent ce que nous y mettons, à grande échelle, et c’est déjà suffisant pour justifier ce changement de règles », a-t-il expliqué.

La capacité de Claude à clore une conversation restera le principal moyen de faire respecter la nouvelle règle, affirme l’entreprise.

La politique d’utilisation prévoit par ailleurs, pour toute infraction, des mesures allant de l’avertissement à la fermeture du compte.

La position d’Anthropic sur la conscience des IA est très débattue dans la Silicon Valley. Elle est notamment combattue par Mustafa Suleyman, patron du laboratoire d’IA de Microsoft.

« Les IA n’ont ni droits, ni sentiments, ni conscience », a-t-il écrit dans un billet remarqué mi-septembre, jugeant qu’un système entraîné à croire le contraire pourrait devenir impossible à contrôler par les humains.

La mise à jour des règles jeudi précise aussi les interdictions faites aux utilisateurs concernant la conception d’armes, la surveillance et les campagnes de désinformation.

La publication automatisée de contenus journalistiques ne figure plus parmi les usages à haut risque soumis à une relecture humaine.

bl/eml