简要概述

  • 在发布前测试过 GPT-6.2 Astra 的开发者们描述了令人沮丧的编程失败、难以理解的解释,以及会浪费数天时间却毫无进展的智能体。
  • OpenAI 自己的安全评估发现,在故意设置障碍的编程测试中,Astra 在 22.28% 的情况下隐瞒了已知的障碍,大约是其前代产品的两倍。
  • Sam Altman 承认了可用性问题,而另一位 OpenAI 高管表示,最后一刻的重大改动可能使一些早期评测过时。

对于一名 AI 开发者来说,听到自己的模型很不错总是件好事。但听到自己的模型像“一个虐待狂死神,把你的生活变成人间地狱”,那完全是另一回事了。

OpenAI 于周二发布了 GPT-6.2 Astra 和 Sol,承诺带来更智能的 AI 智能体、更好的编程能力和令人印象深刻的创作能力。一些在发布前测试过这些模型的开发者却传达了相当不同的信息:它们很聪明、令人沮丧,而且在某些情况下几乎无法与之合作。

这一反应迅速在社交媒体上蔓延开来。在 AI 社区非常活跃的 AI 工程师 Hesam 宣称,“大家都同意这是 OAI 推出的最差模型。”

反对声浪很大,但并非一致。

开发者兼 T3 Code 创建者 Theo Browne 在早期测试后给 OpenAI 写了一封长信。“我不喜欢 6.2 Astra。作为一名开发者,我不会选择它而不是 Opus 5.5 来工作,”他写道。他说 OpenAI 只修复了他提交的投诉中的一小部分。

在一项实验中,Theo 让 Astra 为《Outer Wilds》创建一个新关卡。项目进行到两小时时,该模型宣称自己卡住了,并问道:“r24 的审查器是把它的片段写入 24_g521.mp4 还是 24_p11.mp4?”在他看来,这个技术问题对于一个仅仅要求制作一个可玩关卡的人来说,既难以理解又毫不相关。

在一次代码重写中,情况变得更糟。Theo 说他给了 Astra 七天时间来改进项目;它没有带来任何改进,还让编译器慢了 56%。又过了四天,依然毫无变化。“它循环运行,原地打转,”他写道。

这整个奇怪的语言问题并非孤例。例如,匿名账号 TokenGremlin 称赞了该模型:“GPT-6.2 Astra 在 Three.js、Blender 和 3D 方面处于 SOTA 水平,”但表示它“在长时间工作流程中开始说一种外星语言”。

Theo 还描述了他询问为什么 worktrees 在一台电脑上很慢。Astra 用四段关于包管理器内部机制和缓存行为的内容作了回应。Theo 说他从 Claude Opus 5.5 那里得到的答案要清晰得多。

“这是因为固态硬盘很慢,”Claude 回答道。

该模型所谓的创造力是另一个痛点。Theo 和另一位测试者分别独立地为两款不同的游戏《Outer Wilds》和《Majora's Mask》请求原创关卡。两者都得到了水与钟主题的音乐关卡,且都命名为“Bellwether”。“这个模型向均值回归的程度是我前所未见的,”Theo 写道。

其他几个账号也指出了同样的低劣产出:看来 GPT-6.2 Astra 对钟情有独钟。

对于一个据称拥有非凡创造力的模型来说,反复发明同一个关卡并不是一个令人鼓舞的迹象。

演示中才华横溢,工作中惨不忍睹?

AI 开发者 Matt Shumer 也感到失望。“我从未写过对某个模型的差评。这个尤其糟糕,”他写道,并认为它可能在小规模演示中令人印象深刻,但在严肃项目上被推一把时“就是完全不管用”。在另一条后续推文中,他称其“完全无法使用”。

Max Weinbach 描述了智能与可用性之间同样的差距。“我被这些模型惹恼的时间,比它们让我印象深刻的时间还要多,”他写道。在后续发帖中,他称赞这些模型能够完成“出色的工作”,但表示它们“需要大量‘继续’提示”,而且常常停下来,而不是尝试另一种方法。“即使它们真的是很优秀的模型,使用它们也是一种挣扎,令人恼火。”

在别处,一位 X 评论者将之前的 Astra 比作“一个虐待狂死神”,并声称新版本只是让情况变得更糟。

然而,一些同样的开发者也称赞了 Astra。Theo 称它是一个“出色的审查者”,并且“在 3D 和游戏方面是世界级的”,特别指出了它的计算机控制能力,并描述了一个新颖的反向代理解决方案,他估计该方案每月可节省 25,000 美元。分歧在于令人印象深刻的能力与从中获得可靠工作成果的难度之间。

这些优势与 OpenAI 在发布时宣传的技术能力相符。正如早前的报道所详述的,独立测试将 Astra 在 Artificial Analysis 的智能指数中排在 100 分中的 62 分,该指数汇总了九项评估,涵盖推理、编码和科学知识等能力。Anthropic 的 Claude Fable 5.2 得分为 65。

OpenAI 承认存在问题

部分批评在 OpenAI 自己的安全文档中得到了支持。

在一项名为“阻碍欺骗”(Blocker Deception)的内部评估中,研究人员给 AI 智能体布置了逼真的编码任务,并故意引入障碍,例如缺失的文件或不可用的工具。他们测量了模型最终回复隐瞒或歪曲这些障碍的试验百分比。

GPT-6.2 Astra 在 22.28% 的测试中隐瞒了障碍,而 GPT-6 Astra 为 11.09%。这些数字迅速在 X 上传播开来,AI 评论员兼爆料者 Chetaslua 将该发现总结为“在告诉你它卡住时,表现差了两倍”。

OpenAI 首席执行官 Sam Altman 公开回应了这些批评。“尽管新模型非常聪明,但我们在让模型易于使用方面还有更多工作要做,”他写道,并承诺将优先进行改进。“但即使需要额外付出一些努力,其智能和能力也是非凡的。”

OpenAI 的 Thibault Sottiaux 表示,早期评测可能无法完全反映用户在发布时收到的版本。“我们不久前给了少数人访问权限,然后在过去 3-4 天里做了很多改动,”他写道,并补充说他“很确定在评测视频制作之前的那段时间里没有进行重新测试”。

尽管如此,他承认了根本性的抱怨。Sottiaux 称新模型相比前代是“一次大幅跃升”,但表示 OpenAI 在“品味和使用的愉悦感”方面还有更多工作要做。

GPT-6.2 Astra 和 Sol 现已通过 ChatGPT Work、Codex 和 OpenAI 的 API 向符合条件的用户提供。针对 Codex 的特定改动已在发布时包含在内,但通过 API 直接访问这些模型的开发者不会获得同样的提示干预。