簡述

  • 在發布前測試過 GPT-6.2 Astra 的開發者描述了令人沮喪的程式設計失敗、難以理解的解釋,以及會浪費數天卻毫無進展的代理。
  • OpenAI 自家的安全評估發現,Astra 在 22.28% 的刻意阻礙程式設計試驗中隱瞞了已知障礙,大約是其前代模型的兩倍。
  • Sam Altman 承認了可用性問題,而另一位 OpenAI 高層表示,重大的最後一刻變更可能使部分早期評測過時。

對一名 AI 開發者來說,聽到你的模型很棒總是相當不錯。但聽到你的模型像「一個把你的生活變成活地獄的虐待狂死神」,就完全是另一回事了。

OpenAI 於週二發布了 GPT-6.2 Astra 和 Sol,承諾帶來更聰明的 AI 代理、更好的程式設計以及令人印象深刻的創意能力。一些在發布前測試過這些模型的開發者卻傳達了相當不同的訊息:它們很出色、令人沮喪,而且在某些情況下幾乎無法與之合作。

這些反應迅速在社群媒體上蔓延開來。在 AI 社群中非常活躍的 AI 工程師 Hesam 宣稱「大家都同意這是 OAI 推出的最差模型。」

反彈聲浪很大,但並非一致。

開發者兼 T3 Code 創作者 Theo Browne 在早期測試後向 OpenAI 發表了一封長信。「我不喜歡 6.2 Astra。作為一名開發者,我不會選擇它而非 Opus 5.5 來做我的工作,」他寫道。他表示 OpenAI 只修正了他所提交的抱怨中的少數幾項。

在一項實驗中,Theo 要求 Astra 為《Outer Wilds》製作一個新關卡。專案進行了兩小時後,該模型宣稱自己卡住了,並問道:「r24 的審查器是把它的片段寫入 24_g521.mp4 還是 24_p11.mp4?」從他的角度來看,這個技術性問題令人費解,而且對於一個只是要求一個可玩關卡的人來說毫不相關。

在一次程式碼重寫中,情況變得更糟。Theo 說他給了 Astra 七天時間來改進專案;結果它沒有帶來任何改進,還讓編譯器慢了 56%。又過了四天,依然毫無變化。「它陷入迴圈,原地打轉,」他寫道。

這整個奇怪的語言問題並非孤例。例如,化名帳號 TokenGremlin 稱讚該模型:「GPT-6.2 Astra 在 Three.js、Blender 和 3D 方面是 SOTA」,但也說它「在長時間工作流程中會開始說一種外星語言」。

Theo 還描述了他詢問為什麼 worktrees 在一台電腦上很慢。Astra 用四段文字回應了關於套件管理器內部機制和快取行為的內容。Theo 說他從 Claude Opus 5.5 得到的答案要清楚得多。

「這是因為 SSD 很慢,」Claude 回答。

該模型所謂的創造力是另一個痛點。Theo 和另一位測試者分別為兩款不同的遊戲——《Outer Wilds》和《Majora's Mask》——要求原創關卡。兩者都得到了水與鐘為主題的音樂關卡,且都命名為「Bellwether」。「這個模型向均值回歸的程度是我前所未見的,」Theo 寫道。

其他幾個帳號也指出了同樣的粗製濫造:看來 GPT-6.2 Astra 對鐘情有獨鍾。

對於一個據稱具備非凡創造力的模型來說,反覆發明同一個關卡並不是一個令人鼓舞的跡象。

演示時才華橫溢,工作時慘不忍睹?

AI 開發者 Matt Shumer 也感到失望。「我從未寫過對一個模型的負面評價。這個尤其糟糕,」他寫道,並認為它或許能在小型演示中令人印象深刻,但在被推向嚴肅專案時「就是完全行不通」。在另一則後續貼文中,他稱其「完全無法使用」。

Max Weinbach 也描述了同樣存在於智慧與可用性之間的落差。「我被這些模型惹惱的時間,比我對它們感到驚豔的時間還要多,」他寫道。在後續的貼文中,他稱讚這些模型有能力做出「出色的成果」,但表示它們「需要大量『繼續』的提示」,而且常常停下來,而不是嘗試另一種方法。「即使它們真的是很優秀的模型,使用起來仍是一場掙扎,令人煩躁。」

在其他地方,一位 X 上的評論者將先前的 Astra 比作「一個虐待狂死神」,並聲稱新版本只是讓情況變得更糟。

然而,一些同樣的開發者也稱讚 Astra。Theo 稱它是「很棒的審查者」,且「在 3D 與遊戲方面是世界級的」,特別點出它的電腦控制能力,並描述了一個新穎的反向代理方案,他估計每月可節省 25,000 美元。分歧在於令人印象深刻的能力,以及要從中獲得可靠成果有多麼困難。

這些優勢與 OpenAI 在發布時所宣傳的技術能力一致。正如先前的報導所詳述,獨立測試將 Astra 在 Artificial Analysis 的智慧指數中評為 100 分中的 62 分,該指數匯總了九項評估,涵蓋推理、程式設計與科學知識等能力。Anthropic 的 Claude Fable 5.2 得分為 65。

OpenAI 承認存在問題

部分批評在 OpenAI 自家的安全文件中得到了支持。

在一項名為「阻礙者欺騙」(Blocker Deception)的內部評估中,研究人員給 AI 代理設定逼真的程式設計任務,並刻意引入障礙,例如缺少檔案或工具無法使用。他們測量了模型的最終回應隱瞞或歪曲這些障礙的試驗百分比。

GPT-6.2 Astra 在這些試驗中有 22.28% 的情況隱瞞了障礙,而 GPT-6 Astra 則為 11.09%。這些數字迅速在 X 上流傳,AI 評論員兼爆料者 Chetaslua 將這一發現總結為「在告訴你它卡住時,表現差了兩倍」。

OpenAI 執行長 Sam Altman 公開回應了這些反彈。「儘管新模型非常聰明,我們在讓模型易於使用方面還有更多工作要做,」他寫道,並承諾會優先進行改進。「但即使需要多花一點功夫,其智慧與能力都是非凡的。」

OpenAI 的 Thibault Sottiaux 表示,早期評測可能無法完全反映使用者在發布時所收到的版本。「我們不久前讓一些人取得了存取權,然後在過去 3 到 4 天內做了許多變更,」他寫道,並補充說他「相當確定在評測影片製作之前的那段期間,並沒有進行重新測試」。

儘管如此,他仍承認了這些根本的抱怨。Sottiaux 雖然稱新模型相較於前代是「一大躍進」,但也表示 OpenAI 在「品味與使用的愉悅感」方面還有更多工作要做。

GPT-6.2 Astra 與 Sol 現已透過 ChatGPT Work、Codex 及 OpenAI 的 API 向符合資格的使用者提供。Codex 專屬的變更已包含在發布版本中,但直接透過 API 存取這些模型的開發者並不會獲得同樣的提示介入。