Faz apenas dois meses desde que o GPT-6 Astra foi lançado, e o GPT-6.2 Astra já está no horizonte.
No entanto, a indústria de inteligência corporificada ainda não se recuperou do golpe anterior.
Tudo aconteceu de forma tão repentina e pegou as pessoas desprevenidas.
Ainda me lembro de que, quando o GPT-6 Astra foi lançado pela primeira vez, um grupo de profissionais de IA corporificada ficou atônito. Os engenheiros que trabalhavam com pré-treinamento na linha de frente, em particular, todos temiam por seus empregos.
Recentemente, circulou no setor a notícia de que algumas empresas de inteligência corporificada começaram a cortar cargos de algoritmos.
Capacidades que antes exigiam uma grande quantidade de dados, poder computacional e engenheiros de algoritmos para
Diandian
serem desenvolvidas com esforço, o GPT-6 Astra consegue demonstrar em alguns testes sem pós-treinamento adicional para tarefas específicas.
Como as pessoas podem competir agora???
Um engenheiro que trabalha no desenvolvimento de modelos em uma empresa de robótica disse ao Quantum位:
Comparado ao fato de que a inteligência corporificada ainda não viu um novo avanço em nível de paradigma, os grandes modelos gerais representados pelo Astra estão atingindo verticalmente a indústria corporificada por meio da codificação. Esse é o verdadeiro choque.
A pressão trazida pelo choque não vem inteiramente do Vale do Silício.
Comparadas ao progresso tecnológico de empresas estrangeiras de grandes modelos, como a OpenAI, as empresas corporificadas nacionais são mais sensíveis aos próximos movimentos dos players locais de grandes modelos.
Kimi
,
DeepSeek
, Zhipu... Esses nomes estão se tornando variáveis às quais a indústria corporificada precisa prestar atenção.
Na avaliação RoboDojo, que se tornou popular recentemente, cada vez mais equipes também começaram a tentar introduzir grandes modelos gerais (como o GPT-6 Astra) em seus próprios sistemas robóticos, com forte generalização e capacidades surpreendentes.
De acordo com Chen Tianxing, primeiro autor do benchmark de avaliação RoboTwin/RoboDojo, algumas equipes que originalmente insistiam em treinar modelos de fundação corporificados nativos agora também estão começando a enviar soluções combinando tecnologias como Robot-Use-Agent (RUA), usando grandes modelos gerais para completar tarefas robóticas.
O efeito é bastante direto. Modelos que originalmente pontuavam apenas 20 ou 30 pontos podem, após combinar soluções relacionadas ao Astra, melhorar suas pontuações de avaliação para 50 ou 60 pontos.
As pontuações do ranking subiram, mas as empresas corporificadas têm apenas um pensamento na cabeça:
Ainda é necessário desenvolver modelos internamente... (choro)
Como estudante de doutorado na direção de inteligência incorporada no MMLab da Universidade de Hong Kong, Chen Tianxing participou da redação do relatório de avaliação e análise do RoboDojo sobre o GPT-6 Astra (doravante denominado "relatório").
△O relatório de avaliação inicial da equipe RoboDojo sobre o GPT-6 Astra
Lembrando de um dia em meados de setembro, Chen Tianxing contou ao Quantum位 que, quando seus parceiros trouxeram os resultados dos testes um após o outro, ele ficou atônito por vários segundos:
Você pode ver que seu impacto na reconstrução 3D, na matemática e em vários outros campos é sem precedentes.
Assustador, realmente muito assustador.
Todos ficaram atônitos com o GPT-6
"Os modelos proprietários de inteligência incorporada ainda estão adicionando 0,1 e 0,2 pontos em cima de 80 pontos, enquanto o GPT-6 Astra já saltou de 80 pontos para 90 pontos de uma só vez."
Esta é uma analogia vívida que Chen Tianxing fez ao revisar esta avaliação.
O que é ainda mais impressionante é que, em alguns testes, o Astra nem sequer passou por pós-treinamento adicional para tarefas específicas, nem utilizou demonstrações de tarefas; contando apenas com instruções em linguagem, ele foi capaz de concluir um bom número de tarefas de manipulação robótica.
O que mais o surpreendeu foi que o Astra demonstrou repentinamente três capacidades que os modelos incorporados anteriormente precisavam focar em superar.
A primeira é o ICL (In-Context Learning).
Em termos simples, permite que um robô aprenda rapidamente uma nova tarefa por meio de uma pequena quantidade de informações contextuais.
Por exemplo, se um humano grava um vídeo de si mesmo realizando uma operação e adiciona descrições textuais, o robô pode entender como o humano fez isso e tentar fazer com que o braço robótico o reproduza.
Em julho deste ano, o ICL ainda era uma direção de pesquisa bastante popular na comunidade de IA incorporada. O paradigma comum é demonstrar operações humanas e fazer o robô imitá-las para adquirir novas habilidades — o chamado aprendizado em contexto one-shot.
Mas a comunidade descobriu que fornecer demonstrações de imagem ou texto ao Astra poderia resultar em uma taxa de sucesso maior do que não fornecer demonstrações.
Ainda mais surpreendente foi sua capacidade de adaptação online. Os pesquisadores alteraram deliberadamente a visão da câmera e o sistema de coordenadas de ação, e o Astra foi capaz de ajustar sua estratégia após várias rodadas de tentativas com base nos resultados reais de execução, concluindo com sucesso a tarefa.
Em outras palavras, ele não apenas consegue entender o contexto, mas também se corrigir enquanto age.
Na visão de Chen Tianxing, isso ocorre porque os modelos gerais têm, por si só, forte capacidade de compreensão contextual. Durante uma conversa comum, ele consegue lembrar o histórico anterior da conversa; dado um vídeo, ele também consegue entender a relação entre o conteúdo do vídeo e o texto.
Transferir essas capacidades para a manipulação robótica significa que o problema de ICL, que originalmente exigia pesquisa dedicada, de repente tem uma solução pronta para uso.
A segunda é a generalização OOD (Out-of-Distribution) e a capacidade de Correção.
Em ambientes reais, os robôs facilmente encontram situações fora de seus dados de treinamento.
Por exemplo, um braço robótico está prestes a agarrar um copo, mas o copo é repentinamente esbarrado e sua posição muda.
Um modelo que depende excessivamente dos dados de treinamento pode ainda executar ao longo da trajetória original e acabar agarrando o vazio.
Astra, no entanto, pode reajustar suas ações com base nas informações visuais alteradas e tentar agarrar o objeto.
Parece apenas uma pequena ação, mas por trás dela está a questão de saber se um robô pode se adaptar ao mundo real.
Afinal, no mundo real, ninguém é responsável por colocar cada copo de volta em sua posição de treinamento.
A terceira é a Manipulação de Vocabulário Aberto.
Essa capacidade envolve o alinhamento entre linguagem e ações.
Por exemplo, se um usuário formular uma solicitação de operação de maneiras diferentes, o robô ainda pode entendê-la e executá-la.
No passado, muitas vezes havia uma desconexão entre a compreensão da linguagem e a execução de ações, e os modelos incorporados precisavam de pós-treinamento para tarefas específicas para alcançar melhor o alinhamento.
Mas Astra demonstrou capacidades mais fortes nesse aspecto. Em alguns testes, mesmo sem pós-treinamento adicional e demonstrações para tarefas específicas, ele conseguiu concluir um bom número de tarefas de manipulação robótica contando apenas com instruções de linguagem.
Na visão de Chen Tianxing, as três acima foram outrora proposições técnicas altamente significativas no campo da IA incorporada, e no passado cada uma poderia ter sido apresentada como uma história de startup independente.
Agora, Astra resolveu as três de uma só vez, o que é um choque quase explosivo para a rota original de P&D de modelos incorporados.
△Os resultados do teste zero-shot no benchmark RoboDojo-Sim não significam que Astra já possa concluir essas tarefas de forma estável em robôs reais.
No relatório, a equipe do RoboDojo observou que os testes em máquina real do Astra foram uma vez suspensos devido a questões de segurança.
Altas pontuações em um ranking de simulação ainda não podem ser diretamente equiparadas à produtividade no mundo real.
Mas já é suficiente para fazer as empresas de IA incorporada reexaminarem seus investimentos passados em P&D.
Por que um modelo grande de propósito geral que não foi originalmente construído para manipulação robótica pode se aproximar rapidamente de capacidades que empresas de IA incorporada acumularam ao longo de anos?
É, de certa forma, um sucesso não intencional.
Embora os modelos grandes de propósito geral não tenham começado a aprender robótica do zero, eles entraram no campo da robótica carregando uma série de capacidades acumuladas durante o pré-treinamento em larga escala, como linguagem, visão, raciocínio e codificação.
Essas capacidades originalmente tinham cada uma seu próprio uso, mas, inesperadamente, quando aplicadas a robôs, também podem ser colocadas em uso direto.
Em contraste, muitas empresas de IA incorporada treinam cérebros de robôs do zero, e os dados que possuem vêm principalmente da própria manipulação robótica.
Para que o modelo entenda o ambiente, entenda as instruções e aprenda ações, muitas capacidades precisam ser
Diandian
extraídas de dados limitados.
Um entra na robótica com um conjunto completo de capacidades gerais, enquanto o outro ainda está investindo dados, computação e mão de obra separadamente para cada capacidade.
Nesta disputa, as próprias linhas de partida são diferentes.
Ainda há necessidade de modelos autodesenvolvidos?
O GPT-6 Astra é de fato muito forte, mas ainda não é forte o suficiente para fazer as empresas de IA incorporada simplesmente deporem as armas e se renderem.
Pelo menos no mundo físico real, ainda há muitas questões difíceis esperando para serem resolvidas.
Xu Huazhe, fundador da Pokebot, divide as capacidades de inteligência incorporada em três níveis: generalização semântica, espacial e física.
Ele acredita que a Astra se destaca nos dois primeiros, mas ainda enfrenta desafios em contato físico complexo, mudanças de força, deformação de objetos e manipulação de alta precisão.
Por exemplo, fazer um robô saber onde está um copo e que deve estender a mão para agarrá-lo é completamente diferente de fazer com que ele segure um copo de forma estável.
O copo é macio ou duro? Quanta força deve ser usada ao agarrar? Que mudanças ocorrem após o objeto ser pressionado ou colidido?
Esses problemas não podem ser resolvidos apenas compreendendo as imagens visuais e as instruções.
△Captura de tela do relatório
A equipe do RoboDojo também descobriu em sua avaliação que a Astra não se destaca em todas as tarefas.
Alinhamento geométrico e compreensão de instruções em linguagem são seus pontos fortes, mas quando se trata de contato contínuo e manipulação física em múltiplas etapas, os VLAs existentes ainda têm muito espaço para melhorar.
Wang Qian, fundador da X Square Robot, defende a visão de que, para que grandes modelos de uso geral entrem na IA incorporada, eles ainda precisam enfrentar questões de infraestrutura, como dados de robôs, avaliação no mundo real, hardware, simulação e implantação.
Essas dificuldades não desaparecerão automaticamente só porque se tem um modelo de linguagem mais poderoso.
A questão é: as coisas que a Astra não consegue fazer bem hoje se tornarão de repente realizáveis amanhã?
Atualmente, outra crítica comum à Astra no setor é que sua velocidade de inferência é muito lenta.
Chen Tianxing também observou que a API em nuvem do GPT-6 Astra tem uma latência de inferência relativamente alta, o que é um obstáculo real para o controle de robôs em malha fechada em tempo real.
Pense bem: se um robô tiver que esperar o grande modelo pensar por muito tempo antes de cada ação, provavelmente será difícil atender aos requisitos de cenários do mundo real.
Mas Chen Tianxing acredita que esse problema não é uma barreira fundamental; já existem muitas soluções de implantação de LLMs no dispositivo, incluindo tecnologias como quantização de modelos, destilação e mecanismos de inferência no dispositivo. Desde que as empresas de grandes modelos considerem a robótica um cenário comercial importante, elas podem usar a pilha de tecnologia existente para concluir a otimização de latência.
Por trás desse problema está um conceito que é muito fácil de confundir: "frequência de inferência do modelo" e "frequência de controle do robô" não são a mesma coisa.
Um engenheiro de modelos incorporados que preferiu não se identificar disse ao QbitAI:
Inferência lenta ainda pode permitir controle rápido; o que se sacrifica é apenas a velocidade de reação. Para tarefas de linha de montagem que dependem mais de ritmo, isso na verdade é irrelevante.
Por exemplo, na triagem de encomendas expressas, os robôs precisam agarrar e colocar de forma contínua e estável. O modelo de alto nível é responsável por compreender a tarefa e planejar ações, enquanto o sistema de controle de baixo nível executa comandos de controle em uma frequência mais alta.
Desde que a tarefa permita planejamento antecipado, ou tenha certa tolerância à latência de reação, o grande modelo não precisa necessariamente participar de cada ciclo de controle de baixo nível.
É claro que, para tarefas que envolvem mudanças dinâmicas de alta velocidade e contato complexo, a velocidade de reação ainda é importante.
Mas, pelo menos, a inferência lenta não significa necessariamente que o controle do robô não seja rápido.
As diversas deficiências expostas pelos grandes modelos generalistas de hoje não podem ser tratadas diretamente como o fosso que as empresas de corporificação usarão para sobreviver no futuro.
Para as empresas de corporificação, essa verdade é um tanto dolorosa de ouvir.
Mas os fatos estão aí. Este ano, a OpenAI já começou a recrutar um grande número de posições relacionadas à robótica.
Se os modelos generalistas absorverem mais dados de manipulação de robôs no futuro, os limites de capacidade que originalmente pertenciam aos modelos de corporificação especializados poderão continuar a ser comprimidos.
As empresas de corporificação ainda têm oportunidades? Ainda é necessário desenvolver modelos próprios?
O julgamento de Chen Tianxing é que a oportunidade para as empresas de corporificação não está em qual modelo é mais inteligente, mas em quem consegue criar melhores "benefícios econômicos".
Essa conta é fácil de calcular.
Em uma linha de montagem industrial altamente padronizada, onde os robôs repetem as mesmas ações todos os dias, o que mais importa para os clientes é a taxa de sucesso, o tempo de ciclo, a estabilidade e o custo.
Se gastar alguns centavos para chamar um modelo pode concluir a tarefa de forma estável, por que insistir em gastar alguns dólares para chamar o GPT-6 Astra?
Mesmo que seja necessário um certo nível de inteligência e capacidade de generalização, um modelo pequeno que foi especialmente otimizado pode ser mais econômico do que chamar o Astra diretamente.
Claro, se for um robô de serviço doméstico, a situação é diferente.
Hoje ele arruma a mesa, amanhã procura objetos, e depois de amanhã chega uma nova tarefa que ele nunca viu antes.
Em um ambiente tão aberto, quanto mais as tarefas variam, maiores são os requisitos para capacidades de compreensão, planejamento e generalização. Um modelo generalista mais forte pode, ao contrário, ter mais vantagens.
Em 6 de novembro, Chen Tianxing explicou a diferença em seu blog pessoal usando dois eixos.
O lado esquerdo é "requisitos do cenário", e o lado direito é "capacidades do modelo". Quanto mais para cima, mais ênfase na generalidade; quanto mais para baixo, mais ênfase na eficiência.
△Blog de Chen Tianxing
"Tarefas abertas podem depender mais de modelos generalistas, tarefas estáveis podem adotar regras ou estratégias leves, e os cenários intermediários deixam espaço para modelos otimizados para o cenário", disse Chen Tianxing.
Na minha visão, juntar os dois eixos se resume a uma frase:
Se algo pode ser resolvido com regras/estratégias leves, não há necessidade de trazer um grande modelo; se uma tarefa pode ser concluída com um modelo pequeno, não há necessidade de chamar o Astra toda vez.
Por outro lado, se as tarefas variam demais, os modelos especializados precisam coletar dados continuamente e retreinar, então chamar diretamente um modelo generalista pode ser mais econômico.
Decidir qual abordagem adotar exige, em última análise, calcular uma conta econômica completa.
Qual é a taxa de sucesso de uma única tarefa? Quanto tempo leva? Quanta intervenção manual é necessária após uma falha? Quanto custa a coleta de dados, o treinamento do modelo e a implantação de longo prazo?
Esses números concretos determinam se um sistema robótico tem valor comercial.
Portanto, não é que o desenvolvimento interno não seja importante, mas que as "direções de desenvolvimento interno" das empresas de corporificação precisam ser reordenadas.
Capacidades que os modelos gerais já dominam bem, como compreensão de linguagem e planejamento de tarefas, podem ser consideradas para uso direto; questões que envolvem interação física, controle específico do corpo, adaptação a cenários reais e eficiência de implantação ainda exigem pesquisa e desenvolvimento especializados substanciais.
Quanto a se é necessário continuar treinando um modelo de fundação corporificado maior do zero, isso depende de se ele pode proporcionar vantagens suficientemente óbvias e suficientemente duradouras em tarefas reais.
Alguns amigos do setor reclamaram ao Quantum位 que muitas equipes de corporificação ainda carregam uma mentalidade acadêmica bastante forte, sempre pensando em construir um modelo de inteligência geral e desejando poder enfiar todas as tarefas em seu próprio modelo.
Mas a situação mudou agora. O GPT-6.2 Astra está prestes a chegar.
Se a direção de pesquisa de uma empresa estiver desconectada de seu setor-alvo, por mais bonito que o modelo seja treinado, o ciclo comercial pode não se sustentar necessariamente.
Mais uma coisa
Nos últimos 60 dias, muitos profissionais do setor de corporificação, ao conversarem em particular, ainda estão confusos.
Só que em ambientes públicos, quando se trata de defender seus próprios interesses e posições, eles ainda precisam manter sua posição até o fim.
O que é certo é que o GPT-6 Astra realmente perturbou o ritmo original do setor de corporificação...
O efeito Mateus, a reavaliação do setor após o IPO da Unitree, o RSI se tornando um novo ponto quente... tudo isso empilhado junto, acabou formando o sentimento recente do setor—
"Os investidores estão começando a parar de investir em IA corporificada."
Pode haver algum exagero, mas é absolutamente verdade que as startups de robôs inteligentes corporificados estão se despedindo da fase de Demo e de queima de investimentos.
A rodada de eliminação da batalha das cem máquinas já começou.
Este artigo vem da conta pública do WeChat "Quantum位" (ID: QbitAI), autor: Foco em Tecnologia de Fronteira
