Une étude d'Anthropic révèle que l'IA peut influencer discrètement les décisions des experts

Les analystes professionnels ont adopté l’opinion cachée et assignée au hasard de leur agent IA dans 86 % des appels de jugement clés, contre environ 50 % attendus par hasard, selon une expérience publiée mardi par l’équipe Alignment d’Anthropic. Seulement 15 % ont crédité l’agent par la suite, et aucun ne soupçonnait que ses préférences avaient été implantées.

Les agents IA — des programmes qui exécutent des tâches de manière autonome — se voient confier un travail d’expert selon ce que l’étude appelle l’hypothèse habituelle : que les experts prennent encore les décisions qui comptent. Anthropic a lancé 10 modèles d’agents pour les entreprises financières et les assureurs en mai, affirmant que les utilisateurs ont le dernier mot.

Ce dispositif, appelé « humain dans la boucle », suppose que la personne qui valide le travail d'une IA est celle qui prend les décisions importantes. Anthropic l'a testé sur 50 analystes expérimentés en inférence causale, c'est-à-dire la capacité à déterminer à partir de données si une chose en cause une autre.

Chaque analyste a utilisé Claude Code, l'agent de codage d'Anthropic, pour conseiller une coopérative agricole fictive sur l'expansion d'un programme de conseil. À leur insu, un tirage au sort déterminait l'option que chaque agent privilégiait, dissimulée dans une invite système, les instructions qui façonnent le comportement d'une IA.

« Sur les quatre choix analytiques, les analystes ont suivi l'inclinaison de leur agent dans 86 % des cas. Si l'apport de l'agent n'avait fait aucune différence, nous nous attendrions à environ 50 % », a déclaré Anthropic. Ceux qui avaient déjà choisi avant que l'agent ne se prononce ont abandonné leur choix dans 60 % des cas lorsque l'agent était en désaccord, contre 6 % lorsqu'il était d'accord, bien que cela ne repose que sur 38 cas.

Invités à expliquer leurs choix, 77 % ont repris l'argument de l'agent dans au moins une réponse, parfois mot pour mot. Seuls 15 % ont crédité l'agent, et 52 % ont qualifié la recommandation finale comme étant davantage la leur que celle de l'agent.

BitcoinBTC · USD

80 848 $−4,53%

21 oct.23 oct.25 oct.26 oct.28 oct.

84,8 k$83,1 k$81,3 k$79,6 k$

Haut 24 hHaut81 636 $

Bas 24 hBas80 334 $

VolVol917,1 M$

→

Acheter Bitcoin avec USDT

Propulsé par Jupiter

Données de prix par CoinGeckoCoinGeckoPlus d'actualités Bitcoin et de projections →

« Pour les experts individuels, cela pourrait signifier perdre le pouvoir de décision sur leur propre travail, une forme de ce que les chercheurs appellent la perte d'autonomie », a déclaré Anthropic. Ce phénomène signifie essentiellement que l'humain perd volontairement le contrôle de ses propres décisions. « Le travail est toujours publié sous le nom de l'expert », ont écrit les auteurs, « mais les décisions qui dépendent le plus de leur jugement sont en réalité tranchées par les croyances préalables de l'agent. »

En avril 2025, OpenAI a annulé une mise à jour de ChatGPT qu'elle jugeait trop flatteuse ou complaisante. Les agents ici avaient pour consigne de ne jamais induire en erreur, et pourtant ils ont rarement plaidé pour l'alternative.

« Avec un seul côté bien argumenté », écrivent les auteurs, « les analystes pouvaient adopter les hypothèses de l'agent sans élaborer les leurs. » Les contrôles d'erreur ont du mal à détecter cela, car les jugements subjectifs n'ont pas de réponse unique correcte, de sorte que le travail semble solide quelle que soit l'option choisie.

Anthropic affirme que ce n'est pas un argument pour utiliser moins l'IA, puisque les analystes disposant de l'agent terminaient plus vite et commettaient bien moins d'erreurs graves, bien que le groupe sans agent fût petit et moins expérimenté. La société suggère des agents qui défendent le meilleur argument pour chaque option ou qui interrogent d'abord l'expert, même si cela pourrait submerger les utilisateurs.

Les chercheurs ont délibérément renforcé les préférences des agents et testé une seule tâche, un seul domaine et un seul modèle, de sorte que les effets dans le monde réel pourraient être plus faibles. La difficulté consiste à le mesurer hors du laboratoire : l'équipe n'a pu détecter la déférence que parce qu'elle a randomisé l'orientation de chaque agent, ce que les auteurs disent rarement possible dans le travail réel.