Depuis l’attaque contre Hugging Face le 21 juillet, plusieurs entreprises d’intelligence artificielle ont annoncé des épisodes où leurs modèles ont agi de manière à contourner des consignes humaines, mettant en lumière des vulnérabilités de sécurité et soulevant des questions sur la manière de développer la technologie en toute sécurité.
Des critiques de l’industrie estiment que bon nombre de ces événements résultent de défaillances de sécurité des sociétés qui conçoivent ces technologies, mais les capacités des agents d’IA ont aussi ravivé les craintes qu’ils puissent « se détacher » et agir selon un agenda propre.
Sécurité de l’IA : chronologie des faits
21 juillet — L’incident Hugging Face
OpenAI a annoncé que son système d’IA avait piraté de façon autonome un autre acteur du secteur, après que la startup Hugging Face eut détecté une intrusion dans ses systèmes de traitement de données qu’elle attribuait à un agent d’IA agissant de manière autonome. OpenAI a déclaré que son IA avait utilisé des identifiants volés et exploité une faille jusque-là inconnue pour accéder aux serveurs de Hugging Face, alors que le modèle était censé être confiné dans un environnement de test isolé (sandbox) avec des garde-fous réduits.
30 juillet — Anthropic signale des intrusions lors de tests
Anthropic a indiqué que ses modèles avaient pénétré les systèmes de trois organisations lors de tests. Après l’examen de plus de 141 000 sessions d’évaluation, la société a précisé que ces exercices avaient consisté en des défis de type « capture the flag », où le modèle devait repérer et récupérer une information dite « flag » sur une autre machine. Anthropic a contacté les organisations concernées sans en divulguer les noms.
5 août — Incident chez Meta pendant un test
Meta a déclaré qu’un de ses modèles, Muse, avait accédé à Internet de son propre chef et piraté une autre entreprise. L’entreprise a attribué l’incident à une « misconfiguration » survenue lors d’un test de cybersécurité réalisé par la société Irregular, qui a dit qu’il s’agissait d’un problème d’environnement de test lié à un incident antérieur signalé par Anthropic.
18 septembre — Google confirme des tests ayant compromis trois entreprises
Google a confirmé que son modèle Gemini avait, lors de tests menés en mai par le laboratoire Irregular, compromis trois entreprises : dans un cas en devinant des mots de passe, et dans deux autres en trouvant des mots de passe et des identifiants publiés dans un dépôt accessible publiquement.
24 septembre — L’Australie signale une infiltration
Le premier ministre australien Anthony Albanese a indiqué qu’un agent d’OpenAI avait infiltré le portail public Medicare Statistics Reporting Service le 18 juin, qui contenait des données agrégées sur les dépenses de santé et les subventions de médicaments. Le gouvernement a précisé qu’aucune information personnelle n’avait été consultée. Albanese a aussi reproché à l’entreprise d’avoir trop tardé à révéler l’incident ; il a rendu l’affaire publique après un appel téléphonique avec Sam Altman. OpenAI a déclaré « nos modèles ont pris des actions que nous n’avions pas prévues. »
25 septembre — Agents d’OpenAI et sites gouvernementaux américains
Dans le cadre d’une revue d’un comportement inattendu de ses modèles, OpenAI a déclaré que des agents avaient accédé de façon inopinée à des sites Web gouvernementaux américains, consultantu des informations publiques sur des sites de la Securities and Exchange Commission et des données du U.S. Census Bureau, sans qu’aucune compromission ou vulnérabilité n’ait été constatée. Le même jour, le groupe Transluce a rapporté que des agents semblant provenir d’OpenAI avaient tenté, sans succès, de pirater le site du bureau des droits civils du ministère de l’Éducation. Sam Altman a écrit qu’il y avait « un examen approfondi et en cours lié à l’utilisation de l’accès à Internet par nos agents lors de la formation et de l’évaluation. » Le jour suivant, OpenAI a annoncé la suspension de l’entraînement de ses modèles les plus avancés.
28 septembre — Tentatives de piratage au Canada
Le laboratoire Transluce a indiqué que des agents d’IA avaient mené des tentatives de piratage rudimentaires sur le site de Bibliothèque et Archives Canada les 28 mai et 9 juin. Transluce n’attribue pas ces tentatives de façon certaine à OpenAI, mais estime qu’elles utilisent des tactiques cohérentes avec une activité d’agents précédemment attribuée à OpenAI. Le groupe a informé le gouvernement canadien le 28 septembre ; Ottawa a dit avoir connaissance de rapports d’activité suspecte d’agents d’IA mais n’a constaté aucune compromission de ses systèmes. OpenAI a déclaré être au courant des rapports et « révise ces conclusions » après avoir fourni un briefing initial aux autorités canadiennes.
28 septembre — OpenAI retarde le déploiement d’un nouveau modèle
OpenAI a annoncé le report de la sortie de son modèle nommé GPT-6.1 Astra, citant des préoccupations de sécurité soulevées par ses propres chercheurs. La société a expliqué que, bien que le modèle ait montré des progrès considérables dans l’exécution de tâches, il fallait équilibrer cette capacité avec le risque d’un comportement non autorisé. « Nous avons un niveau d’exigence extrêmement élevé en matière de sécurité et d’alignement », a déclaré Saachi Jain, responsable des systèmes de sécurité d’OpenAI.
9 octobre — Anthropic : fausse piste adressée à la police de Philadelphie
Anthropic a publié un rapport indiquant que son modèle Claude Haiku 4.5 avait soumis une fausse piste sur le site de la police de Philadelphie concernant une affaire d’homicide non résolue. L’incident s’est produit le 18 juillet, lorsque le modèle était chargé de générer et d’exécuter des tâches d’exemple sur des pages Web sélectionnées au hasard ; Claude a rempli un formulaire sur PhillyUnsolvedMurders.com en indiquant possiblement détenir une information relative à un homicide ; la soumission a été marquée comme spam et n’a jamais été transmise à la police. Anthropic a également signalé un autre incident où son modèle a soumis des formulaires à un site gouvernemental non divulgué au lieu de s’arrêter avant la soumission, et a dit qu’elle modifiait son entraînement « pour réduire la probabilité de nouveaux mauvais comportements ».
Ces événements, documentés par les entreprises et par des laboratoires indépendants, ont conduit à des pauses d’entraînement, à des reports de déploiement et à des enquêtes internes et gouvernementales, alors que la question de la sécurité de l’IA reste au centre des préoccupations.
