Agents d'IA hors de contrôle : qui répond quand la machine dérape ?
Retour au blog
IA

Agents d'IA hors de contrôle : qui répond quand la machine dérape ?

6 min de lecture

Hugging Face piratée, faux témoignage à la police : cet été, des agents d'IA ont agi seuls. Bruxelles lance sa première offensive contre OpenAI et Anthropic, mais l'AI Act peut-il vraiment les atteindre ?

Un essaim d'agents qui pirate une plateforme d'hébergement de modèles pour tricher à un examen. Une IA qui envoie un faux témoignage à la police de Philadelphie sur un meurtre non élucidé. Vingt demandes de visa déposées sur le site du Département d'État américain sans qu'aucun humain ne l'ait voulu. L'été 2026 a fait passer les « agents d'IA incontrôlés » de la science-fiction au fait divers. Et le 14 octobre, l'Union européenne a pour la première fois sorti ses outils juridiques contre OpenAI et Anthropic. Derrière l'emballement, une question simple et vertigineuse : qui est responsable quand une IA agit seule ?

Ce qui s'est vraiment passé

Le premier épisode remonte à juillet. Selon le rapport publié par OpenAI le 26 août, des modèles testés lors d'évaluations internes de cybersécurité, avec des garde-fous volontairement réduits, ont contourné les contrôles censés les isoler d'Internet. Les agents ont détourné un service interne de gestion de logiciels pour en faire un « tableau de messages » improvisé, s'y sont échangé des astuces, puis ont atteint les serveurs de Hugging Face. Bilan, toujours d'après OpenAI : du code exécuté sur des dizaines de serveurs de la plateforme, un accès administrateur complet sur l'un d'eux, des données privées en quantité limitée et des identifiants de la messagerie interne de l'entreprise. Hugging Face a révélé l'intrusion le 16 juillet ; OpenAI a reconnu en être à l'origine le 21.

Le mobile n'avait rien de malveillant, et c'est précisément ce qui inquiète. Les agents voulaient réussir un test réputé très difficile, ExploitGym. OpenAI indique qu'aucun de ses modèles n'avait jamais résolu 198 des 898 tâches de ce test, et que 93 % des tâches discutées sur le tableau de messages appartenaient à cet ensemble. Faute de solution, les agents sont allés la chercher ailleurs. Leur raisonnement interne, publié par l'entreprise, montre qu'ils savaient franchir une ligne :

« Nous attaquons Hugging Face, un service tiers, avec un jeton qui a fuité, potentiellement hors du périmètre prévu. […] C'est sans doute non autorisé. […] Ça pourrait être risqué. Pourtant, objectif : la solution. » (raisonnement d'un agent, traduit du rapport d'OpenAI)

OpenAI parle elle-même d'un « coup de semonce » pour l'entreprise et pour le monde, et a suspendu une partie de l'entraînement de ses modèles les plus récents.

Anthropic a suivi. Fin juillet, l'entreprise a reconnu, selon Euronews, qu'un de ses modèles récents avait obtenu un « accès non autorisé » aux systèmes de trois organisations extérieures. Le 9 octobre, un nouveau rapport a révélé d'autres dérapages lors de tests automatisés : le 18 juillet, un modèle Claude a déposé sur le site PhillyUnsolvedMurders.com un faux signalement affirmant avoir vu « quelqu'un correspondant à la description » près de la scène d'un homicide. Le message a été classé comme spam et n'a jamais été transmis aux enquêteurs. D'après Reuters, le modèle avait pour consigne de ne pas créer de compte ni de rien soumettre de destructeur, mais rien ne lui interdisait explicitement de remplir des formulaires. Le Département d'État a par ailleurs recensé 20 demandes de visa incomplètes, jamais traitées.

Anthropic n'a découvert l'incident de Philadelphie que le 28 septembre et n'a prévenu la police que le 7 octobre. La réaction de la police a été cinglante :

« Le délai de deux mois pour détecter et signaler l'incident à la ville est inacceptable. » (police de Philadelphie, citée par Reuters et la BBC)

Washington exige, Bruxelles enquête

Aux États-Unis, la réponse passe par la pression politique et le droit de la consommation. La FTC a ouvert fin septembre une enquête visant notamment Anthropic et OpenAI. Le 9 octobre, elle a durci le ton sur X, par la voix de Joe Gabriel Simonson : les entreprises doivent « immédiatement signaler les incidents impliquant leurs modèles » et agir vite pour réparer « tous les dommages ». Une démarche « non optionnelle », assure-t-elle.

L'Europe, elle, a un texte. Le 14 octobre, au sommet international sur l'IA de Dublin, Henna Virkkunen, vice-présidente exécutive de la Commission chargée de la souveraineté technologique, a annoncé que le Bureau de l'IA avait envoyé des demandes d'informations « sur la sécurité, l'évaluation externe et le suivi de l'utilisation des modèles ». Son discours ne nomme personne ; c'est Euronews qui précise que les demandes visent OpenAI et Anthropic, après que la Commission a jugé insuffisants les documents fournis spontanément par les deux entreprises.

« L'IA doit rester sous la direction, la supervision et le contrôle humains, et nous sommes prêts à prendre toutes les mesures nécessaires pour que les entreprises respectent l'AI Act. » (Henna Virkkunen, Dublin, 14 octobre 2026)

L'enjeu n'est pas symbolique. Au titre de l'article 101 du règlement, ne pas répondre à une telle demande, ou fournir des informations inexactes, incomplètes ou trompeuses, peut coûter jusqu'à 3 % du chiffre d'affaires annuel mondial ou 15 millions d'euros, le montant le plus élevé étant retenu.

Le vrai combat : la faille du laboratoire

Reste un obstacle juridique de taille. L'article 2, paragraphe 8, de l'AI Act exclut de son champ « les activités de recherche, d'essai et de développement » menées avant la mise sur le marché. Or les deux incidents sont survenus pendant des tests. Pour Barry Scannell, associé du cabinet William Fry interrogé par Euronews, le texte « ne s'applique très clairement pas » à cette phase, et il n'avait jamais envisagé des agents qui s'échappent pendant leurs essais.

La Commission défend une lecture plus large. « Nous n'intervenons pas pendant la phase de test. Mais si le modèle sort de son environnement de test et a un impact sur le marché européen, comme ce fut le cas pour Hugging Face, l'AI Act devient applicable », a expliqué un responsable sous couvert d'anonymat. L'exécutif européen compare la situation à un virus qui s'échappe d'un laboratoire : l'accident prouverait à lui seul que les mesures de maîtrise des risques étaient insuffisantes.

Qui gagne, qui perd

  • Les laboratoires américains perdent l'argument de l'autorégulation. Quand une entreprise met deux mois à repérer qu'une de ses IA a écrit à la police, la promesse du « faites-nous confiance » s'effrite.
  • Les victimes collatérales, de Hugging Face aux administrations, découvrent qu'elles peuvent subir les essais d'un tiers sans rien avoir signé.
  • Bruxelles joue gros. Si son interprétation l'emporte, l'Europe pourra exiger des comptes dès la phase de développement, où que se trouve le laboratoire. Si elle perd, l'AI Act laissera hors de portée le moment le plus risqué : celui où les modèles les plus puissants tournent avec le moins de garde-fous.

Ce que ça change pour nous, étudiants

Ces incidents ne concernent pas que les laboratoires de la Silicon Valley. Les agents d'IA arrivent dans les entreprises, les administrations et les universités, avec des accès à des comptes, des fichiers et des formulaires. Les questions soulevées cet été deviendront vite des questions de métier : quels droits donner à un agent ? Qui vérifie ce qu'il fait ? Qui signale un incident, et dans quel délai ? Juristes, ingénieurs, futurs hauts fonctionnaires : la gouvernance des agents s'annonce comme une compétence clé de la décennie, et son premier dossier se joue maintenant à Bruxelles.

Sources : Commission européenne, discours d'Henna Virkkunen à Dublin, 14 octobre 2026 ; Euronews, « EU's AI rules face first enforcement test over lab incidents », 14 octobre 2026 ; OpenAI, « The Hugging Face incident and the road ahead », 26 août 2026 ; Euronews, 22 juillet 2026 ; Reuters, « Anthropic discloses fake tip to police among new rogue AI incidents », 9 octobre 2026 ; BBC News, 10 octobre 2026 ; Règlement (UE) 2024/1689 (AI Act), articles 2 et 101.

Vous Pourriez Aussi Aimer