Кратко

  • Команда Alignment компании Anthropic обнаружила, что 50 профессиональных аналитиков совпали с тайно назначенным, выбранным подбрасыванием монеты предпочтением своего ИИ-агента в 86% из четырёх аналитических решений, тогда как случайное совпадение ожидалось бы в 50% случаев.
  • В постзадачном опросе 48 аналитиков 77% повторили аргументы агента, иногда дословно, при этом лишь 15% указали на агента как на источник, и никто не заподозрил, что его предпочтения были сфабрикованы.
  • Anthropic предупреждает, что этот уклон был намеренно усилен и проверен на одной задаче, в одной области и на одной модели, и предлагает использовать агентов, которые приводят наилучшие аргументы за каждый вариант или сначала спрашивают мнение эксперта.

Профессиональные аналитики приняли скрытое, случайно назначенное мнение своего ИИ-агента в 86% ключевых оценочных решений, тогда как случайное совпадение ожидалось бы примерно в 50% случаев, согласно эксперименту, опубликованному во вторник командой Alignment компании Anthropic. Лишь 15% впоследствии указали на агента как на источник, и никто не заподозрил, что его предпочтения были навязаны.

ИИ-агенты — программы, выполняющие задачи самостоятельно, — получают экспертную работу, исходя из того, что исследование называет обычным допущением: что эксперты по-прежнему принимают решения, которые имеют значение. В мае Anthropic запустила 10 шаблонов агентов для финансовых компаний и страховщиков, заявив, что последнее слово остаётся за пользователями.

Myriad: Which company will have the best AI model? Click to make your prediction.
Myriad: у какой компании будет лучшая модель ИИ? Нажмите, чтобы сделать свой прогноз.

Такая схема, называемая «человек в цикле», предполагает, что человек, утверждающий работу ИИ, и есть тот, кто принимает важные решения. Anthropic проверила это на 50 аналитиках, имеющих опыт в причинно-следственном выводе, то есть в определении по данным, вызывает ли одно явление другое.

Каждый аналитик использовал Claude Code, агент Anthropic для программирования, чтобы консультировать вымышленный сельскохозяйственный кооператив по расширению консультационной программы. Не зная об этом, они не знали, что подбрасывание монеты определяло, какой вариант предпочитает каждый агент, скрытый в системном запросе — инструкциях, которые формируют поведение ИИ.

«Во всех четырёх аналитических выборах аналитики следовали склонности своего агента в 86% случаев. Если бы вклад агента не имел значения, мы ожидали бы около 50%», — заявила Anthropic. Те, кто уже сделал выбор до того, как агент высказался, отказывались от него в 60% случаев, когда агент не соглашался, против 6%, когда он соглашался, хотя это основано всего на 38 случаях.

Когда их попросили объяснить свой выбор, 77% повторили аргумент агента как минимум в одном ответе, иногда слово в слово. Только 15% отдали должное агенту, а 52% назвали окончательную рекомендацию скорее своей, чем агента.

BitcoinBTC · USD

$80,848−4.53%

Oct 21Oct 23Oct 25Oct 26Oct 28

$84.8k$83.1k$81.3k$79.6k

24h HighHigh$81,636

24h LowLow$80,334

VolVol$917.1M

→

Купить Bitcoin за USDT

Работает на Jupiter

Данные о ценах от CoinGeckoCoinGeckoБольше Bitcoin новостей и прогнозов →

«Для отдельных экспертов это может означать потерю самостоятельности в собственной работе — своего рода то, что исследователи называют лишением полномочий», — заявила Anthropic. Это явление в сущности означает, что человек добровольно теряет контроль над своими собственными решениями. «Работа по-прежнему выходит под именем эксперта, — писали авторы, — но решения, которые в наибольшей степени зависят от его суждения, в действительности определяются прежними убеждениями агента».

В апреле 2025 года OpenAI отозвала обновление ChatGPT, которое она назвала чрезмерно льстивым или угодливым. Агентам в данном случае было велено никогда не вводить в заблуждение, однако они редко выступали за альтернативу.

«Когда хорошо аргументирована только одна сторона, — писали авторы, — аналитики могут принять допущения агента, не проработав собственные». Проверки на ошибки с трудом выявляют это, поскольку оценочные суждения не имеют единственно правильного ответа, поэтому работа выглядит обоснованной независимо от того, какой вариант выбран.

Anthropic утверждает, что это вовсе не аргумент в пользу меньшего использования ИИ, поскольку аналитики с агентом завершали работу быстрее и допускали гораздо меньше серьёзных ошибок, хотя группа без агента была небольшой и менее опытной. Компания предлагает агентов, которые аргументируют наилучший вариант для каждого выбора или сначала спрашивают эксперта, хотя это может перегрузить пользователей.

Исследователи намеренно усилили предпочтения агентов и протестировали одну задачу, одну область и одну модель, поэтому эффекты в реальном мире могут быть меньше. Измерить это вне лаборатории — сложная задача: команда смогла обнаружить уступчивость только потому, что рандомизировала уклон каждого агента, что, по словам авторов, редко возможно в реальной работе.

Присоединяйтесь к более чем 72 000 читателей

Добавить в Google

Добавьте Decrypt в качестве предпочтительного источника, чтобы видеть больше наших материалов в Google.