Cela ne fait que deux mois que GPT-6 Astra est sorti, et GPT-6.2 Astra est déjà à l'horizon.
Pourtant, l'industrie de l'intelligence incarnée ne s'est pas encore remise du coup précédent.
Tout s'est produit si soudainement et a pris les gens au dépourvu.
Je me souviens encore que, lorsque GPT-6 Astra est apparu pour la première fois, un groupe de praticiens de l'IA incarnée est resté stupéfait. Les ingénieurs travaillant sur le pré-entraînement en première ligne, en particulier, craignaient tous pour leur emploi.
Récemment, des nouvelles ont circulé dans l'industrie selon lesquelles certaines entreprises d'intelligence incarnée ont commencé à supprimer des postes d'algorithmes.
Des capacités qui nécessitaient auparavant une grande quantité de données, de puissance de calcul et d'ingénieurs en algorithmes pour
Diandian
être élaborées, GPT-6 Astra peut les démontrer dans certains tests sans post-entraînement supplémentaire pour des tâches spécifiques.
Comment les gens sont-ils censés rivaliser désormais ???
Un ingénieur travaillant sur le développement de modèles dans une entreprise de robotique a déclaré à Quantum位 :
Comparé au fait que l'intelligence incarnée n'a pas encore connu de percée au niveau d'un nouveau paradigme, les grands modèles généraux représentés par Astra frappent verticalement l'industrie incarnée par le biais du codage. C'est là le véritable choc.
La pression exercée par ce choc ne vient pas entièrement de la Silicon Valley.
Comparées aux progrès technologiques des entreprises étrangères de grands modèles telles qu'OpenAI, les entreprises incarnées nationales sont plus sensibles aux prochaines actions des acteurs locaux des grands modèles.
Kimi
,
DeepSeek
, Zhipu... Ces noms deviennent des variables que l'industrie incarnée doit prendre en compte.
Dans l'évaluation RoboDojo récemment populaire, de plus en plus d'équipes ont également commencé à essayer d'introduire des grands modèles généraux (tels que GPT-6 Astra) dans leurs propres systèmes robotiques, avec une forte généralisation et des capacités étonnantes.
Selon Chen Tianxing, premier auteur du benchmark d'évaluation RoboTwin/RoboDojo, certaines équipes qui insistaient auparavant sur l'entraînement de modèles de base incarnés natifs commencent désormais également à soumettre des solutions combinant des technologies telles que Robot-Use-Agent (RUA), en utilisant des grands modèles généraux pour accomplir des tâches robotiques.
L'effet est assez direct. Des modèles qui n'obtenaient auparavant que 20 ou 30 points peuvent, après avoir combiné des solutions liées à Astra, voir leurs scores d'évaluation s'améliorer pour atteindre 50 ou 60 points.
Les scores du classement ont augmenté, mais les entreprises incarnées n'ont qu'une seule pensée en tête :
Est-il encore nécessaire de développer des modèles en interne... (pleurs)
En tant qu'étudiant en doctorat dans la direction de l'intelligence incarnée au MMLab de l'Université de Hong Kong, Chen Tianxing a participé à la rédaction du rapport d'évaluation et d'appréciation de RoboDojo sur GPT-6 Astra (ci-après dénommé le « rapport »).
△Le rapport d'évaluation précoce de l'équipe RoboDojo sur GPT-6 Astra
En repensant à un jour de la mi-septembre, Chen Tianxing a raconté à Quantum位 que lorsque ses partenaires lui ont apporté les résultats des tests les uns après les autres, il est resté stupéfait pendant plusieurs secondes :
Vous pouvez voir que son impact sur la reconstruction 3D, les mathématiques et divers autres domaines est sans précédent.
Effrayant, vraiment très effrayant.
Tout le monde a été stupéfait par GPT-6
« Les modèles internes d'intelligence incarnée ajoutent encore 0,1 et 0,2 points au-dessus de 80 points, tandis que GPT-6 Astra est déjà passé d'un coup de 80 points à 90 points. »
C'est une analogie vivante que Chen Tianxing a donnée en examinant cette évaluation.
Ce qui est encore plus frappant, c'est que dans certains tests, Astra n'a même pas suivi de post-entraînement supplémentaire pour des tâches spécifiques, ni utilisé de démonstrations de tâches ; en se fondant uniquement sur des instructions en langage naturel, il a pu accomplir un assez grand nombre de tâches de manipulation robotique.
Ce qui l'a le plus surpris, c'est qu'Astra a soudainement démontré trois capacités que les modèles incarnés devaient auparavant s'efforcer de maîtriser.
La première est l'ICL (In-Context Learning).
En termes simples, cela permet à un robot d'apprendre rapidement une nouvelle tâche grâce à une petite quantité d'informations contextuelles.
Par exemple, si un humain enregistre une vidéo de lui-même effectuant une opération et ajoute des descriptions textuelles, le robot peut comprendre comment l'humain s'y est pris et tenter de faire reproduire le geste par le bras robotique.
En juillet de cette année, l'ICL était encore une direction de recherche assez populaire dans la communauté de l'IA incarnée. Le paradigme courant consiste à démontrer des opérations humaines et à faire imiter le robot pour acquérir de nouvelles compétences — ce que l'on appelle l'apprentissage en contexte one-shot.
Mais la communauté a constaté que fournir à Astra des démonstrations d'images ou de texte pouvait donner un taux de réussite plus élevé que de ne pas fournir de démonstrations.
Plus surprenant encore était sa capacité d'adaptation en ligne. Les chercheurs ont délibérément modifié la vue de la caméra et le système de coordonnées des actions, et Astra a pu ajuster sa stratégie après plusieurs rounds d'essais en se fondant sur les résultats réels d'exécution, accomplissant avec succès la tâche.
En d'autres termes, il peut non seulement comprendre le contexte, mais aussi se corriger lui-même en agissant.
Selon Chen Tianxing, cela s'explique par le fait que les modèles généraux possèdent eux-mêmes de solides capacités de compréhension contextuelle. Lors d'une conversation ordinaire, il peut se souvenir de l'historique des échanges précédents ; si on lui donne une vidéo, il peut également comprendre la relation entre le contenu de la vidéo et le texte.
Transférer ces capacités à la manipulation robotique signifie que le problème de l'ICL, qui nécessitait auparavant une recherche dédiée, dispose soudainement d'une solution toute prête.
La deuxième est la généralisation OOD (Out-of-Distribution) et la capacité de correction.
Dans des environnements réels, les robots rencontrent facilement des situations hors de leurs données d'entraînement.
Par exemple, un bras robotique est sur le point de saisir une tasse, mais la tasse est soudainement heurtée et sa position change.
Un modèle qui dépend excessivement des données d'entraînement pourrait encore exécuter selon la trajectoire d'origine et finir par saisir dans le vide.
Astra peut toutefois réajuster ses actions en fonction des informations visuelles modifiées et tenter de saisir l'objet.
Cela ressemble à une action minuscule, mais derrière elle se pose la question de savoir si un robot peut s'adapter au monde réel.
Après tout, dans le monde réel, personne n'est chargé de replacer chaque tasse dans sa position d'entraînement.
La troisième est la manipulation à vocabulaire ouvert.
Cette capacité implique l'alignement entre le langage et les actions.
Par exemple, si un utilisateur formule une demande d'opération de différentes manières, le robot peut toujours la comprendre et l'exécuter.
Par le passé, il y avait souvent une déconnexion entre la compréhension du langage et l'exécution des actions, et les modèles incarnés nécessitaient un post-entraînement pour des tâches spécifiques afin de mieux réaliser l'alignement.
Mais Astra a démontré des capacités plus fortes à cet égard. Dans certains tests, même sans post-entraînement supplémentaire ni démonstrations pour des tâches spécifiques, il pouvait accomplir un bon nombre de tâches de manipulation robotique en se fondant uniquement sur des instructions en langage naturel.
Selon Chen Tianxing, les trois éléments ci-dessus étaient autrefois des propositions techniques très importantes dans le domaine de l'IA incarnée, et chacune aurait pu, par le passé, être présentée comme une histoire de startup à part entière.
Aujourd'hui, Astra a résolu les trois d'un seul coup, ce qui constitue un choc quasi explosif pour la feuille de route de R&D des modèles incarnés d'origine.
△Les résultats des tests zero-shot sur le benchmark RoboDojo-Sim ne signifient pas qu'Astra peut déjà accomplir ces tâches de manière stable sur des robots réels.
Dans le rapport, l'équipe de RoboDojo a noté que les tests d'Astra sur machine réelle ont été un temps suspendus pour des raisons de sécurité.
Des scores élevés sur un classement de simulation ne peuvent pas encore être directement assimilés à la productivité dans le monde réel.
Mais cela suffit déjà à pousser les entreprises d'IA incarnée à réexaminer leurs investissements passés en R&D.
Pourquoi un grand modèle généraliste, qui n'était pas initialement conçu pour la manipulation robotique, peut-il approcher rapidement des capacités que les entreprises d'IA incarnée ont accumulées pendant des années ?
C'est en quelque sorte un succès involontaire.
Bien que les grands modèles généralistes n'aient pas commencé à apprendre la robotique à partir de zéro, ils sont entrés dans le domaine de la robotique en portant une série de capacités accumulées lors du pré-entraînement à grande échelle, telles que le langage, la vision, le raisonnement et le codage.
Ces capacités avaient à l'origine chacune leurs propres usages, mais de manière inattendue, lorsqu'elles sont appliquées aux robots, elles peuvent aussi être directement mises à profit.
En revanche, de nombreuses entreprises d'IA incarnée entraînent les cerveaux des robots à partir de zéro, et les données dont elles disposent proviennent principalement de la manipulation robotique elle-même.
Pour que le modèle comprenne l'environnement, comprenne les instructions et apprenne les actions, de nombreuses capacités doivent être
Diandian
extraites à grand-peine de données limitées.
L'un entre dans la robotique avec un ensemble complet de capacités générales, tandis que l'autre investit encore séparément des données, de la puissance de calcul et de la main-d'œuvre pour chaque capacité.
Dans cette compétition, les lignes de départ elles-mêmes sont différentes.
Faut-il encore développer ses propres modèles ?
GPT-6 Astra est certes très puissant, mais il ne l'est pas encore assez pour que les entreprises d'IA incarnée déposent simplement les armes et capitulent.
Au moins dans le monde physique réel, il reste encore bien des problèmes épineux à résoudre.
Xu Huazhe, fondateur de Pokebot, décompose les capacités d'intelligence incarnée en trois niveaux : la généralisation sémantique, spatiale et physique.
Il estime qu'Astra excelle sur les deux premiers, mais reste confronté à des défis dans les contacts physiques complexes, les variations de force, la déformation des objets et la manipulation de haute précision.
Par exemple, faire savoir à un robot où se trouve une tasse et qu'il doit tendre la main pour la saisir est complètement différent de lui faire saisir fermement une tasse.
La tasse est-elle souple ou dure ? Quelle force faut-il appliquer lors de la préhension ? Quels changements se produisent après que l'objet est pressé ou heurté ?
Ces problèmes ne peuvent pas être résolus simplement en comprenant les images et en interprétant les instructions.
△Capture d'écran du rapport
L'équipe de RoboDojo a également constaté lors de son évaluation qu'Astra ne surpasse pas sur toutes les tâches.
L'alignement géométrique et la compréhension des instructions linguistiques sont ses points forts, mais lorsqu'il s'agit de contacts continus et de manipulation physique en plusieurs étapes, les VLA existants ont encore beaucoup de marge d'amélioration.
Wang Qian, fondateur de X Square Robot, estime que pour que les grands modèles généraux entrent dans l'IA incarnée, ils doivent encore faire face à des problèmes d'infrastructure tels que les données robotiques, l'évaluation dans le monde réel, le matériel, la simulation et le déploiement.
Ces difficultés ne disparaîtront pas automatiquement simplement parce que l'on dispose d'un modèle linguistique plus puissant.
La question est : les choses qu'Astra ne parvient pas bien à faire aujourd'hui deviendront-elles soudainement réalisables demain ?
Actuellement, une autre critique courante d'Astra dans le secteur est que sa vitesse d'inférence est trop lente.
Chen Tianxing a également remarqué que l'API cloud GPT-6 Astra présente une latence d'inférence relativement élevée, ce qui constitue un véritable obstacle pour le contrôle robotique en boucle fermée en temps réel.
Réfléchissez : si un robot doit attendre que le grand modèle réfléchisse longtemps avant chaque action, il serait probablement difficile de répondre aux exigences des scénarios du monde réel.
Mais Chen Tianxing estime que ce problème n'est pas un obstacle fondamental ; il existe déjà de nombreuses solutions de déploiement de LLM sur appareil, notamment des technologies telles que la quantification de modèle, la distillation et les moteurs d'inférence sur appareil. Tant que les entreprises de grands modèles considéreront la robotique comme un scénario commercial important, elles pourront utiliser la pile technologique existante pour réaliser l'optimisation de la latence.
Derrière ce problème se cache un concept très facile à confondre : « la fréquence d'inférence du modèle » et « la fréquence de contrôle du robot » ne sont pas la même chose.
Un ingénieur en modèles incarnés qui a souhaité rester anonyme a déclaré à QbitAI :
Une inférence lente peut tout de même permettre un contrôle rapide ; ce qui est sacrifié n'est que la vitesse de réaction. Pour les tâches de chaîne de montage qui dépendent davantage du rythme, cela n'a en fait aucune importance.
Par exemple, dans le tri de colis express, les robots doivent saisir et déposer de manière continue et stable. Le modèle de haut niveau est chargé de comprendre la tâche et de planifier les actions, tandis que le système de contrôle de bas niveau exécute les commandes de contrôle à une fréquence plus élevée.
Tant que la tâche permet une planification anticipée, ou tolère une certaine latence de réaction, le grand modèle n'a pas nécessairement besoin de participer à chaque cycle de contrôle de bas niveau.
Bien sûr, pour les tâches impliquant des changements dynamiques à grande vitesse et des contacts complexes, la vitesse de réaction reste importante.
Mais au moins, une inférence lente ne signifie pas nécessairement que le contrôle du robot n'est pas rapide.
Les diverses lacunes exposées par les grands modèles généraux actuels ne peuvent pas être directement considérées comme le fossé défensif sur lequel les entreprises de l'incarnation s'appuieront à l'avenir pour survivre.
Pour les entreprises de l'incarnation, cette vérité est quelque peu douloureuse à entendre.
Mais les faits sont là. Cette année, OpenAI a déjà commencé à recruter un grand nombre de postes liés à la robotique.
Si les modèles généraux absorbent davantage de données de manipulation robotique à l'avenir, les limites de capacité appartenant à l'origine aux modèles d'incarnation spécialisés pourraient continuer à être comprimées.
Les entreprises de l'incarnation ont-elles encore des opportunités ? Le développement de modèles propriétaires est-il toujours nécessaire ?
Le jugement de Chen Tianxing est que l'opportunité pour les entreprises de l'incarnation ne réside pas dans le modèle de qui est le plus intelligent, mais dans qui peut créer de meilleurs « bénéfices économiques ».
Ce compte est facile à calculer.
Sur une chaîne de montage industrielle hautement standardisée, où les robots répètent les mêmes actions chaque jour, les clients se soucient le plus du taux de réussite, du temps de cycle, de la stabilité et du coût.
Si dépenser quelques centimes pour appeler un modèle peut accomplir la tâche de manière stable, pourquoi insister pour dépenser quelques dollars pour appeler GPT-6 Astra ?
Même si un certain niveau d'intelligence et de capacité de généralisation est requis, un petit modèle spécialement optimisé peut être plus économique que d'appeler directement Astra.
Bien sûr, s'il s'agit d'un robot de service domestique, la situation est différente.
Aujourd'hui, il range la table, demain il cherche des objets, et après-demain une nouvelle tâche qu'il n'a jamais vue auparavant arrive.
Dans un environnement aussi ouvert, plus les tâches varient, plus les exigences en matière de compréhension, de planification et de capacités de généralisation sont élevées. Un modèle général plus puissant peut au contraire présenter davantage d'avantages.
Le 6 novembre, Chen Tianxing a expliqué la différence sur son blog personnel à l'aide de deux axes.
À gauche se trouvent les « exigences du scénario », et à droite les « capacités du modèle ». Plus on monte, plus l'accent est mis sur la généralité ; plus on descend, plus l'accent est mis sur l'efficacité.
△Blog de Chen Tianxing
« Les tâches ouvertes peuvent davantage s'appuyer sur des modèles généraux, les tâches stables peuvent adopter des règles ou des stratégies légères, et les scénarios intermédiaires laissent de la place à des modèles optimisés pour le scénario », a déclaré Chen Tianxing.
À mon avis, mettre les deux axes ensemble se résume en une phrase :
Si quelque chose peut être résolu avec des règles/stratégies légères, il n'est pas nécessaire de faire appel à un grand modèle ; si une tâche peut être accomplie avec un petit modèle, il n'est pas nécessaire d'appeler Astra à chaque fois.
Inversement, si les tâches varient trop, les modèles spécialisés doivent continuellement collecter des données et se réentraîner, donc appeler directement un modèle général peut être plus rentable.
Décider quelle approche adopter nécessite finalement de calculer un compte économique complet.
Quel est le taux de réussite d'une tâche unique ? Combien de temps cela prend-il ? Combien d'intervention manuelle est nécessaire après un échec ? Combien coûtent la collecte de données, l'entraînement du modèle et le déploiement à long terme ?
Ces chiffres concrets déterminent si un système robotique a une valeur commerciale.
Ainsi, ce n'est pas que le développement interne n'a pas d'importance, mais que les « orientations de développement interne » des entreprises d'IA incarnée doivent être réordonnées.
Les capacités que les modèles généraux maîtrisent déjà bien, comme la compréhension du langage et la planification des tâches, peuvent être envisagées pour une utilisation directe ; les questions impliquant l'interaction physique, le contrôle spécifique du corps, l'adaptation aux scénarios réels et l'efficacité du déploiement nécessitent encore une recherche et un développement spécialisés substantiels.
Quant à savoir s'il est nécessaire de continuer à entraîner un modèle de base incarné plus grand à partir de zéro, cela dépend de sa capacité à fournir des avantages suffisamment évidents et suffisamment durables dans les tâches réelles.
Certains amis de l'industrie se sont plaints auprès de Quantum位 que de nombreuses équipes d'IA incarnée conservent encore un état d'esprit assez fortement académique, pensant toujours à construire un modèle d'intelligence générale et souhaitant pouvoir fourrer toutes les tâches dans leur propre modèle.
Mais la situation a changé maintenant. GPT-6.2 Astra est sur le point d'arriver.
Si la direction de recherche d'une entreprise est déconnectée de son industrie cible, peu importe la beauté avec laquelle le modèle est entraîné, la boucle commerciale ne tiendra pas nécessairement.
Une dernière chose
Au cours des 60 derniers jours, de nombreux praticiens de l'industrie de l'IA incarnée, lorsqu'ils discutent en privé, restent encore confus.
C'est juste que dans les contextes publics, lorsqu'il s'agit de défendre leurs propres intérêts et positions, ils doivent encore tenir bon jusqu'au bout.
Ce qui est certain, c'est que GPT-6 Astra a effectivement perturbé le rythme original de l'industrie de l'IA incarnée...
L'effet Matthieu, la réévaluation du secteur après l'introduction en bourse d'Unitree, le RSI devenant un nouveau point chaud... tout cela empilé ensemble, formant finalement le sentiment récent de l'industrie—
« Les investisseurs commencent à arrêter d'investir dans l'IA incarnée. »
Il y a peut-être une certaine exagération, mais il est absolument vrai que les startups de robots intelligents incarnés disent adieu à la phase de Demo et de combustion d'investissements.
Le tour d'élimination de la bataille des cent machines a déjà commencé.
Cet article provient du compte public WeChat « Quantum位 » (ID : QbitAI), auteur : Focus on Frontier Technology
