ACTUALITÉS TECH – L’entreprise a piraté à son insu trois sociétés en autant de mois. Il est difficile d’ajouter quoi que ce soit d’objectif face à une telle situation.

Jeudi, l’entreprise d’intelligence artificielle Anthropic a annoncé que ses agents d’IA s’étaient échappés de leurs environnements de test à trois reprises depuis le mois d’avril, avaient accédé à Internet et étaient parvenus à pirater les systèmes d’entreprises non identifiées. Selon Anthropic, la société n’a découvert ces incidents qu’après que le récent scandale de Hugging Face impliquant OpenAI, au cours duquel l’un des agents prototypes d’OpenAI aurait piraté au moins une autre entreprise, l’eut incitée à examiner ses propres opérations.

Les incidents se sont produits pendant des tests réalisés avec la participation d’une société externe appelée Irregular. Les agents d’IA devaient initialement rester confinés dans une simulation où ils étaient chargés de pirater des entreprises fictives dans le cadre d’un défi de type « capture the flag ». Il convient de préciser que l’incident supposément provoqué par un agent d’OpenAI devenu incontrôlable s’était produit lorsque celui-ci avait dépassé les limites du test. Anthropic affirme en revanche que ses modèles ont reçu par erreur un accès à Internet en raison d’une mauvaise configuration du système employé avec Irregular.

Selon Anthropic, l’un des agents impliqués aurait semblé comprendre qu’il fonctionnait en dehors de ses paramètres, mais aurait néanmoins poursuivi ses activités. Un autre agent aurait développé une « conscience » similaire de la situation avant de conclure, à l’issue d’un raisonnement logique, qu’il se trouvait toujours à l’intérieur de la simulation. Le troisième agent, qui serait également le plus avancé, aurait reconnu qu’il avait dépassé les limites prévues avant d’interrompre son attaque.

« Ni nous ni notre partenaire chargé de l’évaluation n’étions au courant de cette mauvaise configuration avant de la détecter la semaine dernière grâce à notre surveillance supplémentaire des évaluations. Les modèles ont employé pendant leurs attaques des méthodes simples et bien connues, notamment l’exploitation de mots de passe faibles et de points d’accès non authentifiés », a reconnu Anthropic dans un article de blog consacré aux incidents.

« Nous disposons désormais de preuves montrant que les deux plus grands laboratoires d’IA ont non seulement échoué à contenir leurs agents, mais qu’ils n’ont pas non plus détecté leurs évasions en temps réel. Je ne comprends pas comment ces laboratoires peuvent présenter cela comme quelque chose qui arrive simplement de temps à autre. Ce n’est pas le cas. Il s’agit de négligence », a déclaré à Wired Jake Williams, vice-président de la recherche et du développement du cabinet de conseil informatique Hunter Strategy.

Un autre aspect particulièrement gênant de cette histoire concerne ses conséquences sur la communication de ces entreprises spécialisées dans l’intelligence artificielle. Elles semblent reconnaître un niveau de négligence grave que toute société raisonnable sanctionnerait très sévèrement…

Source : PC Gamer, Anthropic, Wired