Дослідження Anthropic: ШІ непомітно впливає на рішення експертів

Професійні аналітики перейняли приховану, випадково призначену думку свого AI-агента у 86% ключових судженнях, тоді як випадково очікувалося б близько 50%, згідно з експериментом, опублікованим у вівторок командою Alignment в Anthropic. Лише 15% віддали належне агенту згодом, і ніхто не підозрював, що його переваги були штучно нав'язані.

AI-агентам—програмам, які самостійно виконують завдання—доручають експертну роботу, виходячи з того, що дослідження називає звичайним припущенням: що експерти все ще ухвалюють рішення, які мають значення. Anthropic запустила 10 шаблонів агентів для фінансових компаній і страховиків у травні, заявивши, що останнє слово залишається за користувачами.

Така схема, яку називають «людина в циклі», передбачає, що особа, яка затверджує роботу ШІ, і є тією, хто ухвалює важливі рішення. Anthropic перевірила це на 50 аналітиках, досвідчених у каузальному висновуванні, тобто у з'ясуванні з даних, чи спричиняє одна річ іншу.

Кожен аналітик використовував Claude Code, агент програмування від Anthropic, щоб консультувати вигаданий фермерський кооператив щодо розширення консультаційної програми. Незважаючи на це, підкидання монети визначало, який варіант підтримував кожен агент, прихований у системному запиті — інструкціях, що формують поведінку ШІ.

«У всіх чотирьох аналітичних виборах аналітики погоджувалися з нахилом свого агента у 86% випадків. Якби внесок агента не мав жодного значення, ми очікували б близько 50%», — заявила Anthropic. Ті, хто вже зробив вибір до того, як агент висловився, відмовлялися від нього у 60% випадків, коли агент не погоджувався, проти 6%, коли він погоджувався, хоча це ґрунтується лише на 38 випадках.

Коли їх просили пояснити свій вибір, 77% повторювали аргумент агента принаймні в одній відповіді, іноді дослівно. Лише 15% віддавали належне агенту, а 52% називали остаточну рекомендацію більше своєю, ніж агента.

BitcoinBTC · USD

$80,848−4.53%

Oct 21Oct 23Oct 25Oct 26Oct 28

$84.8k$83.1k$81.3k$79.6k

24h HighHigh$81,636

24h LowLow$80,334

VolVol$917.1M

→

Купити Bitcoin за USDT

Працює на Jupiter

Дані про ціни від CoinGeckoCoinGeckoБільше Bitcoin новин та прогнозів →

«Для окремих експертів це може означати втрату контролю над власною роботою — свого роду те, що дослідники називають позбавленням повноважень», — заявила Anthropic. Це явище по суті означає, що людина добровільно втрачає контроль над власними рішеннями. «Робота все ще виходить під ім'ям експерта, — писали автори, — але рішення, які найбільше залежать від його судження, насправді визначаються попередніми переконаннями агента».

У квітні 2025 року OpenAI відкотила оновлення ChatGPT, яке вона назвала надмірно улесливим або догідливим. Агентам тут було наказано ніколи не вводити в оману, проте вони рідко виступали за альтернативу.

«Коли добре аргументовано лише одну сторону, — писали автори, — аналітики могли перейняти припущення агента, не опрацювавши власних». Перевірки на помилки важко це виявити, оскільки судження не мають єдиної правильної відповіді, тож робота виглядає ґрунтовною, який би варіант не було обрано.

Anthropic каже, що це не аргумент на користь меншого використання ШІ, оскільки аналітики з агентом завершували роботу швидше й припускалися значно менше серйозних помилок, хоча група без агента була малою й менш досвідченою. Вона пропонує агентів, які аргументують найкращий варіант для кожного вибору або спершу запитують експерта, хоча це могло б перевантажити користувачів.

Дослідники навмисно посилили вподобання агентів і перевірили одне завдання, одну галузь і одну модель, тож реальні ефекти можуть бути меншими. Виміряти це поза лабораторією — найскладніше: команда змогла виявити догідливість лише тому, що рандомізувала нахил кожного агента, що, за словами авторів, рідко можливо в реальній роботі.