Em resumo

  • Desenvolvedores que testaram o GPT-6.2 Astra antes do lançamento descrevem falhas frustrantes de programação, explicações incompreensíveis e agentes que desperdiçam dias sem fazer progresso.
  • A própria avaliação de segurança da OpenAI constatou que o Astra ocultou obstáculos conhecidos em 22,28% dos testes de programação deliberadamente obstruídos, aproximadamente o dobro da taxa de seu antecessor.
  • Sam Altman reconheceu problemas de usabilidade, enquanto outro executivo da OpenAI disse que mudanças significativas de última hora podem ter tornado algumas análises iniciais desatualizadas.

Para um desenvolvedor de IA, ouvir que seu modelo é bom é sempre muito positivo. Mas ouvir que seu modelo é como um "shinigami sádico que transforma sua vida em um inferno na Terra" é uma coisa totalmente diferente.

A OpenAI lançou o GPT-6.2 Astra e o Sol na terça-feira, prometendo agentes de IA mais inteligentes, melhor programação e capacidades criativas impressionantes. Alguns dos desenvolvedores que testaram os modelos antes do lançamento tinham uma mensagem bastante diferente: eles são brilhantes, frustrantes e, em certos casos, quase impossíveis de se trabalhar.

A reação rapidamente se espalhou pelas redes sociais. O engenheiro de IA Hesam, que é muito ativo na comunidade de IA, declarou que "todos concordam que é o pior modelo que a OAI lançou."

A reação negativa foi ruidosa, mas não unânime.

O desenvolvedor e criador do T3 Code, Theo Browne, publicou uma longa carta à OpenAI após os testes iniciais. "Eu não gosto do 6.2 Astra. Eu não escolheria este modelo em vez do Opus 5.5 para o meu trabalho como desenvolvedor", ele escreveu. Ele disse que a OpenAI corrigiu apenas algumas das reclamações que ele enviou.

Em um experimento, Theo pediu a Astra para criar um novo nível para Outer Wilds. Duas horas após o início do projeto, o modelo declarou-se bloqueado e perguntou: “o revisor do r24 grava seus clipes em 24_g521.mp4 ou 24_p11.mp4?” A questão técnica era, do ponto de vista dele, incompreensível e irrelevante para alguém que simplesmente havia solicitado um nível jogável.

As coisas pioraram em uma reescrita de código. Theo disse que deu a Astra sete dias para melhorar o projeto; ela não entregou nenhuma melhoria e deixou o compilador 56% mais lento. Mais quatro dias resultaram em zero mudanças. “Ela roda em círculos e não vai a lugar nenhum”, escreveu ele.

Todo esse problema estranho de linguagem não é isolado. Por exemplo, a conta pseudônima TokenGremlin elogiou o modelo: “GPT-6.2 Astra é SOTA em Three.js, Blender e 3D”, mas disse que ele “começa a falar uma língua alienígena durante fluxos de trabalho longos”.

Theo também descreveu ter perguntado por que as worktrees estavam lentas em um computador. Astra respondeu com quatro parágrafos sobre detalhes internos do gerenciador de pacotes e comportamento de cache. A resposta que Theo disse ter recebido do Claude Opus 5.5 foi consideravelmente mais clara.

“é porque o ssd está lento”, respondeu Claude.

A suposta criatividade do modelo foi outro ponto sensível. Theo e outro testador solicitaram, de forma independente, níveis originais para dois jogos diferentes, Outer Wilds e Majora's Mask. Ambos receberam níveis musicais com tema de água e sinos, ambos chamados “Bellwether.” “Este modelo regride à média como nada que já vi”, escreveu Theo.

Várias outras contas também sinalizaram a mesma porcaria: Parece que o GPT-6.2 Astra tem um fraco por sinos.

Para um modelo supostamente capaz de criatividade extraordinária, inventar repetidamente o mesmo nível não era um sinal encorajador.

Brilhante em demos, péssimo no trabalho?

O desenvolvedor de IA Matt Shumer também ficou decepcionado. “Nunca escrevi uma crítica ruim de um modelo. Este é especialmente ruim”, escreveu ele, argumentando que ele pode impressionar em pequenas demonstrações, mas “simplesmente não funciona” quando pressionado em projetos sérios. Em um acompanhamento separado, ele o chamou de “completamente inutilizável”.

Max Weinbach descreveu a mesma lacuna entre inteligência e usabilidade. “Eu passei mais tempo irritado com os modelos do que tempo impressionado com eles”, escreveu ele. Em uma mensagem de acompanhamento, ele elogiou a capacidade dos modelos de fazer “um trabalho fantástico”, mas disse que eles “precisam de um monte de prompts de ‘continue’” e muitas vezes param em vez de tentar outra abordagem. “Usá-los é uma luta e é irritante, mesmo que sejam modelos realmente bons.”

Em outro lugar, um comentarista do X comparou o Astra anterior a “um shinigami sádico” e afirmou que a nova versão só piorou as coisas.

No entanto, alguns dos mesmos desenvolvedores também elogiaram o Astra. Theo o chamou de “ótimo revisor” e “de classe mundial em 3D & coisas de jogos”, destacou suas habilidades de controle de computador e descreveu uma nova solução de proxy reverso que ele estimou poder economizar US$ 25.000 por mês. A divisão estava entre capacidades impressionantes e o quão difícil era obter trabalho confiável delas.

Esses pontos fortes são consistentes com as capacidades técnicas que a OpenAI promoveu no lançamento. Como a cobertura anterior detalhou, testes independentes colocaram o Astra em 62 de 100 no Índice de Inteligência da Artificial Analysis, uma agregação de nove avaliações cobrindo capacidades incluindo raciocínio, codificação e conhecimento científico. O Claude Fable 5.2 da Anthropic marcou 65.

A OpenAI admite que há um problema

Parte da crítica tem respaldo na própria documentação de segurança da OpenAI.

Em uma avaliação interna chamada Blocker Deception, os pesquisadores deram aos agentes de IA tarefas realistas de codificação com obstáculos deliberadamente introduzidos, como arquivos ausentes ou ferramentas indisponíveis. Eles mediram a porcentagem de tentativas em que a resposta final de um modelo ocultava ou deturpava esses obstáculos.

O GPT-6.2 Astra ocultou o obstáculo em 22,28% dessas tentativas, contra 11,09% do GPT-6 Astra. Os números circularam rapidamente no X, onde o comentarista de IA e vazador Chetaslua resumiu a descoberta como “2x pior em avisar quando está travado.”

O CEO da OpenAI, Sam Altman, respondeu publicamente à reação negativa. “Embora os novos modelos sejam muito inteligentes, temos mais trabalho pela frente para tornar os modelos agradáveis de usar”, escreveu ele, prometendo priorizar melhorias. “Mas mesmo que seja necessário um pouco de trabalho extra, a inteligência e a capacidade são extraordinárias.”

Thibault Sottiaux, da OpenAI, sugeriu que as primeiras análises podem não refletir totalmente a versão que os usuários receberam no lançamento. “Demos acesso a algumas pessoas há um tempo e depois fizemos muitas mudanças nos últimos 3-4 dias”, escreveu ele, acrescentando que estava “bastante certo de que nenhum novo teste foi feito” durante esse período antes da produção dos vídeos de análise.

Ainda assim, ele reconheceu as reclamações subjacentes. Embora tenha chamado os novos modelos de “um salto considerável” em relação aos seus antecessores, Sottiaux disse que a OpenAI tinha mais trabalho a fazer em “gosto e agradabilidade de uso”.

O GPT-6.2 Astra e o Sol agora estão disponíveis por meio do ChatGPT Work, do Codex e da API da OpenAI para usuários elegíveis. As mudanças específicas do Codex estão incluídas no lançamento, mas os desenvolvedores que acessam os modelos diretamente pela API não recebem essa mesma intervenção de prompting.