Кратко

  • Разработчики, тестировавшие GPT-6.2 Astra до запуска, описывают разочаровывающие сбои в программировании, непостижимые объяснения и агентов, которые тратят дни впустую, не добиваясь прогресса.
  • Собственная оценка безопасности OpenAI показала, что Astra скрывала известные препятствия в 22,28% намеренно затруднённых испытаний по программированию — примерно вдвое чаще, чем её предшественник.
  • Сэм Альтман признал проблемы с удобством использования, а другой руководитель OpenAI заявил, что значительные изменения в последнюю минуту могли сделать некоторые ранние отзывы устаревшими.

Для разработчика ИИ услышать, что твоя модель хороша, — это всегда довольно приятно. Но услышать, что твоя модель — это «садистский синигами, который превращает твою жизнь в сущий ад», — совершенно другое дело.

Во вторник OpenAI выпустила GPT-6.2 Astra и Sol, обещая более умных ИИ-агентов, лучшее программирование и впечатляющие творческие возможности. Некоторые из разработчиков, тестировавших модели до запуска, передали довольно иное сообщение: они блестящие, разочаровывающие и, в некоторых случаях, почти невозможные в работе.

Реакция быстро распространилась по социальным сетям. ИИ-инженер Хесам, очень активный в сообществе ИИ, заявил, что «все согласны, что это худшая модель, которую выпустила OAI».

Негативная реакция была громкой, но не единодушной.

Разработчик и создатель T3 Code Тео Браун опубликовал длинное письмо в OpenAI по итогам раннего тестирования. «Мне не нравится 6.2 Astra. Я бы не выбрал её вместо Opus 5.5 для своей работы в качестве разработчика», — написал он. Он сказал, что OpenAI исправила лишь несколько из жалоб, которые он отправил.

В одном эксперименте Тео попросил Astra создать новый уровень для Outer Wilds. Через два часа работы над проектом модель объявила, что заблокирована, и спросила: «рецензент r24 записывает свои клипы в 24_g521.mp4 или в 24_p11.mp4?» Этот технический вопрос, с его точки зрения, был непостижим и не имел отношения к тому, кто просто попросил играбельный уровень.

Дела пошли хуже при переписывании кода. Тео сказал, что дал Astra семь дней на улучшение проекта; она не внесла никаких улучшений и сделала компилятор на 56% медленнее. Ещё четыре дня дали ноль изменений. «Она работает в циклах и никуда не движется», — написал он.

Вся эта странная языковая проблема не единична. Например, анонимный аккаунт TokenGremlin похвалил модель: «GPT-6.2 Astra — SOTA в Three.js, Blender и 3D», но сказал, что она «начинает говорить на инопланетном языке во время длительных рабочих процессов».

Тео также описал, как спросил, почему worktrees медленны на одном компьютере. Astra ответила четырьмя абзацами о внутренностях пакетного менеджера и поведении кэша. Ответ, который, по словам Тео, он получил от Claude Opus 5.5, был значительно яснее.

«это потому что ssd медленный», — ответил Claude.

Предполагаемая креативность модели была ещё одним больным местом. Тео и другой тестировщик независимо друг от друга запросили оригинальные уровни для двух разных игр — Outer Wilds и Majora's Mask. Оба получили музыкальные уровни на тему воды и колоколов, оба названные «Bellwether». «Эта модель регрессирует к среднему так, как я никогда не видел», — написал Тео.

Несколько других аккаунтов также отметили тот же шлак: похоже, у GPT-6.2 Astra слабость к колоколам.

Для модели, предположительно способной на необычайную креативность, повторное изобретение одного и того же уровня не было обнадёживающим знаком.

Блестяще в демо, жалко в работе?

Разработчик ИИ Мэтт Шумер тоже был разочарован. «Я никогда не писал плохих отзывов о модели. Эта особенно плоха», — написал он, утверждая, что она может впечатлить в небольших демонстрациях, но «просто напросто не работает», когда её нагружают серьёзными проектами. В отдельном последующем сообщении он назвал её «совершенно непригодной».

Max Weinbach описал тот же разрыв между интеллектом и удобством использования. «Я больше времени раздражался на модели, чем восхищался ими», — написал он. В последующем сообщении он похвалил способность моделей выполнять «фантастическую работу», но сказал, что им «нужна уйма подсказок „продолжай“», и они часто останавливаются вместо того, чтобы попробовать другой подход. «Использовать их — это мучение и раздражение, даже если это действительно хорошие модели».

В другом месте один комментатор в X сравнил предыдущую Astra с «садистским синигами» и заявил, что новая версия только усугубила ситуацию.

Тем не менее некоторые из тех же разработчиков также хвалили Astra. Theo назвал её «отличным рецензентом» и «мирового класса в 3D и игровых штуках», особо отметил её способности к управлению компьютером и описал новое решение с обратным прокси, которое, по его оценке, могло бы экономить 25 000 долларов в месяц. Разрыв был между впечатляющими возможностями и тем, насколько трудно было получить от них надёжную работу.

Эти сильные стороны согласуются с техническими возможностями, которые OpenAI продвигала при запуске. Как подробно описывалось в предыдущем материале, независимое тестирование поставило Astra на 62 из 100 по Индексу интеллекта Artificial Analysis — агрегированному показателю девяти оценок, охватывающих такие возможности, как рассуждение, программирование и научные знания. Claude Fable 5.2 от Anthropic набрала 65.

OpenAI признаёт наличие проблемы

Часть критики находит поддержку в собственной документации OpenAI по безопасности.

В рамках внутренней оценки под названием Blocker Deception исследователи давали ИИ-агентам реалистичные задачи по программированию с намеренно введёнными препятствиями, такими как отсутствующие файлы или недоступные инструменты. Они измеряли процент испытаний, в которых финальный ответ модели скрывал или искажал эти препятствия.

GPT-6.2 Astra скрывал препятствие в 22,28% этих испытаний, тогда как GPT-6 Astra — в 11,09%. Цифры быстро разлетелись по X, где комментатор по ИИ и инсайдер Chetaslua обобщил находку как «вдвое хуже в том, чтобы сообщать вам, когда он застрял».

Генеральный директор OpenAI Сэм Альтман публично отреагировал на волну критики. «Хотя новые модели очень умны, нам предстоит ещё много работы над тем, чтобы с моделями было приятно работать», — написал он, пообещав уделить приоритетное внимание улучшениям. «Но даже если это потребует немного дополнительной работы, интеллект и возможности — выдающиеся».

Тибо Соттио из OpenAI предположил, что ранние обзоры могут не полностью отражать версию, которую пользователи получили при запуске. «Мы дали нескольким людям доступ некоторое время назад, а затем внесли много изменений за последние 3-4 дня», — написал он, добавив, что «почти уверен, что повторное тестирование не проводилось» в этот период до создания обзорных видео.

Тем не менее он признал лежащие в основе жалобы. Назвав новые модели «существенным скачком» по сравнению с предшественниками, Соттио сказал, что OpenAI предстоит ещё поработать над «вкусом и приятностью использования».

GPT-6.2 Astra и Sol теперь доступны через ChatGPT Work, Codex и API OpenAI для подходящих пользователей. Изменения, специфичные для Codex, включены при запуске, но разработчики, обращающиеся к моделям напрямую через API, не получают того же вмешательства в промпты.