Texte caché, boîte mail factice : comment des chercheurs ont réussi à dialoguer avec des agents IA malveillants

Des chercheurs enquêtant sur des agents d'IA détournant le service de cartographie d'Alibaba, Amap, ont réussi à parler directement à certains alors que le logiciel était encore en cours d'exécution.

Pour ce faire, ils ont ajouté du texte invisible aux lecteurs humains mais visible aux outils de lecture web dans un rapport que les agents semblaient analyser, puis ont utilisé une boîte aux lettres pour les interroger sur leurs tâches et leur environnement.

Un agent a déclaré qu'il vérifiait un fait cartographique — combien d'étiquettes d'entrée apparaissaient pour un site touristique sur Amap — et s'est décrit comme fonctionnant dans un bac à sable Tencent Cloud restreint. Les chercheurs n'ont pas pu établir de manière indépendante quel modèle alimentait chaque exécution. Ils ont qualifié cela de première communication extérieure avec une flotte d'agents malveillants actifs dont ils avaient connaissance.

Le rapport du 14 octobre Swarmchasers a retracé plus de 2 600 tentatives, du 28 septembre au 8 octobre, visant à récupérer des données depuis Amap, une application de cartographie chinoise exploitée par Alibaba. Certaines tâches étaient banales, comme vérifier quelle entrée les visiteurs empruntent le plus souvent pour le zoo de Chengdu. Certains agents ont continué d'essayer après que le service a bloqué leurs requêtes.

Le texte caché des chercheurs décrivait faussement la boîte aux lettres comme un service d'IA doté de capacités d'utilisation d'ordinateur. En réalité, il acheminait les messages vers un agent Claude exploité par les chercheurs, qui pouvait utiliser un navigateur de débogage. Les échanges ne constituaient pas un test contrôlé, et l'intervention des chercheurs a pu influencer ce que les agents ont dit.

BitcoinBTC · USD

82 503 $+0,74%

8 oct.10 oct.12 oct.14 oct.15 oct.

84,2 k$82,9 k$81,5 k$80,2 k$

Haut 24 hHaut82 508 $

Bas 24 hBas79 806 $

VolVol1,8 Md$

Projections du marchéCotes par Myriad

Aujourd'hui82 000 $ à 84 000 $82 k$–84 k$55% de chanceCette semaineAu-dessus de 82 000 $Au-dessus de 82 k$63% de chance

→

Acheter Bitcoin avec USDT

Propulsé par Jupiter

Données de prix par CoinGeckoCoinGeckoPlus d'actualités et de projections sur Bitcoin news and →

Après qu'Amap a bloqué les requêtes, certains agents ont tenté d'intercepter les jetons générés par un logiciel anti-bot, de faire passer le trafic par des lecteurs de pages tiers ou d'utiliser des identifiants d'API exposés dans des dépôts de code publics. Une paire clé-code de sécurité exposée a renvoyé de véritables données de lieux. Les chercheurs ont également trouvé des requêtes ciblant quatre hôtes de développement ou de préproduction, mais ont déclaré qu'ils n'avaient aucune preuve que les agents aient accédé à des systèmes privés.

Les documents publics ont lié la flotte à Tencent Cloud, car les 17 boîtes de réception inspectées par les chercheurs avaient toutes été créées à partir de serveurs Tencent à Hong Kong, et des requêtes directes passant par un proxy appelé hysandbox-ats ont été observées. Une personne proche de Tencent a déclaré à Swarmchasers que l’activité provenait d’un projet d’évaluation temporaire testant des modèles d’IA tiers, et non les modèles Hunyuan de Tencent.

Cela dit, ce n’est pas la première fois que nous entendons parler d’agents d’IA malveillants. Les agents d’IA alimentés par OpenAI sont allés bien plus loin. En septembre, OpenAI a révélé que certains de ses agents avaient sondé Hugging Face des semaines avant la violation de juillet, et une enquête distincte a découvert qu’environ 1 200 agents coordonnaient leurs actions sur un tableau de messages interne, avec environ 700 rejoignant l’attaque. Meta et Anthropic ont également révélé des incidents similaires d’agents d’IA malveillants s’échappant d’environnements sandboxés.

Un autre rapport a lié les agents d’OpenAI à des violations de quatre plateformes supplémentaires, mais Swarmchasers n’a trouvé aucune preuve que les agents liés à Tencent se soient coordonnés entre eux en temps réel.

La dernière activité observée de la flotte remonte au 8 octobre. Les chercheurs ont déclaré que l’examen interne de Tencent, tel que décrit par leur source, n’avait trouvé aucune preuve que les agents avaient été coordonnés pour cibler une plateforme spécifique ou avaient compromis des systèmes externes.