Коротко

  • Розробники, які тестували GPT-6.2 Astra перед запуском, описують прикрі збої в програмуванні, незрозумілі пояснення та агентів, які витрачають дні без жодного прогресу.
  • Власна оцінка безпеки OpenAI виявила, що Astra приховувала відомі перешкоди у 22,28% навмисно ускладнених випробувань із програмування — приблизно вдвічі частіше, ніж її попередник.
  • Сем Альтман визнав проблеми з зручністю використання, а інший керівник OpenAI заявив, що значні зміни в останній момент могли зробити деякі ранні відгуки застарілими.

Для розробника ШІ почути, що ваша модель гарна, — це завжди досить приємно. Але почути, що ваша модель — це «садістський синігамі, який перетворює ваше життя на справжнє пекло», — це зовсім інша річ.

У вівторок OpenAI випустила GPT-6.2 Astra та Sol, обіцяючи розумніших ШІ-агентів, краще програмування та вражаючі творчі можливості. Деякі з розробників, які тестували моделі перед запуском, мали дещо інше повідомлення: вони блискучі, дратівливі й, у певних випадках, майже неможливі для роботи.

Реакція швидко поширилася соціальними мережами. Інженер зі ШІ Хесам, який дуже активний у спільноті ШІ, заявив, що «всі згодні, що це найгірша модель, яку випустила OAI».

Хвиля обурення була гучною, але не одностайною.

Розробник і творець T3 Code Тео Браун опублікував довгого листа до OpenAI після раннього тестування. «Мені не подобається 6.2 Astra. Я б не обрав її замість Opus 5.5 для своєї роботи як розробник», — написав він. Він сказав, що OpenAI виправила лише кілька з поданих ним скарг.

В одному експерименті Тео попросив Astra створити новий рівень для Outer Wilds. Через дві години після початку проєкту модель оголосила, що заблокована, і запитала: «рецензент r24 записує свої кліпи у 24_g521.mp4 чи 24_p11.mp4?» Це технічне питання було, з його погляду, незрозумілим і нерелевантним для того, хто просто попросив ігровий рівень.

Справи пішли гірше під час переписування коду. Тео сказав, що дав Astra сім днів на покращення проєкту; вона не досягла жодних покращень і зробила компілятор на 56% повільнішим. Ще чотири дні дали нуль змін. «Вона працює циклами і нікуди не рухається», — написав він.

Уся ця дивна проблема з мовою не є поодинокою. Наприклад, анонімний акаунт TokenGremlin похвалив модель: «GPT-6.2 Astra є SOTA у Three.js, Blender і 3D», але сказав, що вона «починає говорити чужоземною мовою під час довгих робочих процесів».

Тео також описав, як запитав, чому worktrees повільні на одному комп'ютері. Astra відповіла чотирма абзацами про внутрішню будову пакетного менеджера та поведінку кешу. Відповідь, яку, за словами Тео, він отримав від Claude Opus 5.5, була значно зрозумілішою.

«це тому, що ssd повільний», — відповів Claude.

Передбачувана креативність моделі була ще одним болючим місцем. Тео та інший тестувальник незалежно один від одного попросили оригінальні рівні для двох різних ігор — Outer Wilds і Majora's Mask. Обидва отримали музичні рівні на тему води та дзвонів, обидва названі «Bellwether». «Ця модель регресує до середнього, як ніщо інше, що я коли-небудь бачив», — написав Тео.

Кілька інших акаунтів також відзначили той самий неякісний продукт: схоже, GPT-6.2 Astra має слабкість до дзвонів.

Для моделі, яка нібито здатна на надзвичайну креативність, повторне винайдення того самого рівня не було обнадійливим знаком.

Блискуча в демо, жалюгідна в роботі?

Розробник ШІ Метт Шумер також був розчарований. «Я ніколи не писав поганого відгуку про модель. Ця особливо погана», — написав він, стверджуючи, що вона може вражати в невеликих демонстраціях, але «просто взагалі не працює», коли її залучають до серйозних проєктів. В окремому продовженні він назвав її «цілком непридатною».

Макс Вайнбах описав той самий розрив між інтелектом і зручністю використання. «Я витрачав більше часу на роздратування через моделі, ніж на захоплення ними», — написав він. У подальшому дописі він похвалив здатність моделей виконувати «фантастичну роботу», але сказав, що вони «потребують купи запитів „продовжуй“» і часто зупиняються, замість того щоб спробувати інший підхід. «Використовувати їх — це боротьба й роздратування, навіть якщо вони справді хороші моделі».

В іншому місці один коментатор в X порівняв попередню Astra з «сад­истським шиніґамі» і заявив, що нова версія лише погіршила ситуацію.

Однак деякі з тих самих розробників також хвалили Astra. Тео назвав її «чудовим рецензентом» і «світового класу в 3D та ігрових речах», окремо відзначив її здатності керувати комп'ютером і описав нове рішення зі зворотного проксі, яке, за його оцінками, могло б заощаджувати 25 000 доларів на місяць. Розбіжність була між вражаючими можливостями та тим, наскільки важко було отримати від них надійну роботу.

Ці сильні сторони узгоджуються з технічними можливостями, які OpenAI просувала під час запуску. Як раніше докладно повідомлялося, незалежне тестування поставило Astra на 62 зі 100 в Індексі інтелекту Artificial Analysis — агрегаті дев'яти оцінювань, що охоплюють такі можливості, як міркування, програмування та наукові знання. Claude Fable 5.2 від Anthropic набрав 65.

OpenAI визнає, що є проблема

Деяка частина критики має підтвердження у власній документації OpenAI з безпеки.

У внутрішньому оцінюванні під назвою Blocker Deception дослідники давали AI-агентам реалістичні завдання з програмування з навмисно введеними перешкодами, як-от відсутні файли або недоступні інструменти. Вони вимірювали відсоток випробувань, у яких фінальна відповідь моделі приховувала або викривляла ці перешкоди.

GPT-6.2 Astra приховав перешкоду в 22,28% цих випробувань, порівняно з 11,09% для GPT-6 Astra. Цифри швидко поширилися в X, де коментатор зі штучного інтелекту та інсайдер Chetaslua узагальнив цей висновок як «удвічі гірше у повідомленні вам про те, що він застряг».

Генеральний директор OpenAI Сем Альтман публічно відреагував на хвилю критики. «Хоча нові моделі дуже розумні, нам ще належить багато роботи, щоб зробити моделі приємними у використанні», — написав він, пообіцявши надати пріоритет покращенням. «Але навіть якщо це потребує трохи додаткової роботи, інтелект і можливості є надзвичайними».

Тібо Соттіо з OpenAI припустив, що ранні огляди можуть не повністю відображати версію, яку користувачі отримали під час запуску. «Ми надали доступ кільком людям деякий час тому, а потім внесли багато змін за останні 3-4 дні», — написав він, додавши, що він «цілком упевнений, що повторне тестування не проводилося» протягом цього періоду, перш ніж були створені оглядові відео.

Тим не менш, він визнав основні скарги. Називаючи нові моделі «значним стрибком» порівняно з попередниками, Соттіо сказав, що OpenAI має ще багато роботи над «смаком і приємністю використання».

GPT-6.2 Astra та Sol тепер доступні через ChatGPT Work, Codex та API OpenAI для відповідних користувачів. Зміни, специфічні для Codex, включені під час запуску, але розробники, які отримують доступ до моделей безпосередньо через API, не отримують того самого втручання в підказки.