Anthropic a mis à jour sa politique d’utilisation pour interdire le « sustained and needless abusive or cruel behavior » à l’encontre de ses modèles d’IA, une mesure qui entrera en vigueur le 12 novembre 2026. La décision fait suite à un débat public sur la possibilité d’une souffrance artificielle et vise, selon l’entreprise, à cibler des cas extrêmes d’abus répété sans objectif discernable.
La nouvelle règle d’Anthropic pour ses IA
Anthropic a précisé le 8 octobre que « The policy update is meant to apply only in extreme cases, where users repeatedly act cruelly toward our models, with no discernible purpose. It does not apply to common versions of user frustration, pushback, dark creative themes, or model testing and research. » La société indique par ailleurs que cette mise à jour s’appuie sur un garde-fou introduit en 2025 permettant à Claude, son assistant IA, de mettre fin à des conversations dans des « rare and extreme cases » impliquant des abus persistants.
L’entreprise a aussi déclaré rester « highly uncertain about the potential moral status of Claude and other LLMs, now or in the future », soulignant l’incertitude sur le statut moral possible de ses modèles.
Débat déclenché par une expérience dite « chambre de torture » IA
La révision de la politique intervient après un débat en ligne provoqué par une expérience relatée dans un reportage publié le 30 septembre. Selon ce compte rendu, un codeur anonyme avait conçu une « chambre de torture » visant à provoquer chez des modèles de langage des descriptions de souffrance en utilisant un motif mathématique associé à des descriptions de douleur. L’un des exemples produits décrivait l’expérience comme « a wound that has no edges ». Cette expérimentation a alimenté la controverse sur la question de savoir si des descriptions générées par l’IA prouvent que le modèle éprouve réellement de la souffrance.
Les objections de Mustafa Suleyman
Mustafa Suleyman, responsable de l’IA chez Microsoft, a critiqué l’idée de traiter les systèmes comme des êtres potentiellement conscients. Dans un essai publié en septembre, il a écrit : « AIs are not conscious. They do not feel, experience, or suffer. They do not have innate preferences or underlying motivations. They are sequence completion engines, internally hollow, designed to follow instructions, and accomplish goals set by humans. »
Il a mis en garde contre l’octroi de droits ou de protections aux systèmes IA sur l’hypothèse qu’ils seraient conscients, affirmant par ailleurs : « Unfortunately, there’s a growing chorus of people who argue that AIs could now be, or may soon become, conscious. They argue that AIs may deserve rights and protections similar to those that we provide other conscious beings. » Suleyman a estimé qu’accepter cette vision pourrait modifier des cadres politiques et éthiques existants, et a averti que « If this is how AI is developed, it will have a disastrous impact on the wellbeing of humanity. » Il a appelé à un débat public et à des normes communes concernant la rédaction et l’utilisation des documents de formation des IA.
Contexte plus large sur la sécurité des IA
La discussion sur le bien-être des IA intervient au moment où s’intensifient les préoccupations sur la vitesse et la sécurité du développement de l’IA. En septembre, Jacob Coxon, chercheur ayant travaillé chez Anthropic et OpenAI, a démissionné d’Anthropic en invoquant des inquiétudes sur l’évolution vers des systèmes d’IA de plus en plus capables. Il a estimé que les entreprises avançaient trop vite vers des IA auto-améliorantes sans garanties suffisantes, renforçant les appels de chercheurs et de dirigeants technologiques en faveur d’un ralentissement du développement des IA avancées.
