Прошло всего два месяца с момента выпуска GPT-6 Astra, а GPT-6.2 Astra уже нависает на горизонте.
Однако индустрия воплощённого интеллекта ещё не оправилась от предыдущего удара.
Всё произошло так внезапно и застало людей врасплох.
Я до сих пор помню, как при первом появлении GPT-6 Astra группа специалистов по воплощённому ИИ была ошеломлена. Особенно инженеры, работающие над предобучением на передовой, — все они опасались за свои рабочие места.
Недавно в отрасли распространились новости о том, что некоторые компании в сфере воплощённого интеллекта начали сокращать алгоритмические должности.
Возможности, для которых раньше требовалось огромное количество данных, вычислительных ресурсов и инженеров-алгоритмистов, чтобы
Diandian
выработать, GPT-6 Astra может продемонстрировать в некоторых тестах без дополнительного постобучения под конкретные задачи.
Как людям вообще ещё соревноваться???
Инженер, занимающийся разработкой моделей в робототехнической компании, рассказал Quantum位:
По сравнению с тем, что в воплощённом интеллекте до сих пор не произошло нового прорыва на уровне парадигмы, универсальные большие модели, представленные Astra, вертикально бьют по индустрии воплощённого интеллекта через кодинг. Вот это и есть настоящий шок.
Давление, вызванное этим шоком, исходит не только из Кремниевой долины.
По сравнению с технологическим прогрессом зарубежных компаний, разрабатывающих большие модели, таких как OpenAI, отечественные компании в сфере воплощённого интеллекта более чувствительны к следующим шагам местных игроков рынка больших моделей.
Kimi
,
DeepSeek
, Zhipu... Эти имена становятся переменными, на которые индустрия воплощённого интеллекта вынуждена обращать внимание.
В недавно набравшей популярность оценке RoboDojo всё больше команд также начинают пытаться внедрять универсальные большие модели (такие как GPT-6 Astra) в свои робототехнические системы, обладающие сильной обобщающей способностью и поразительными возможностями.
По словам Чэнь Тяньсина, первого автора оценочного бенчмарка RoboTwin/RoboDojo, некоторые команды, которые изначально настаивали на обучении нативных базовых моделей для воплощённого интеллекта, теперь также начинают подавать решения, сочетающие такие технологии, как Robot-Use-Agent (RUA), используя универсальные большие модели для выполнения робототехнических задач.
Эффект довольно прямой. Модели, которые изначально набирали всего 20 или 30 баллов, после объединения с решениями на основе Astra могут повысить свои оценки до 50 или 60 баллов.
Баллы в таблице лидеров выросли, но у компаний в сфере воплощённого интеллекта в голове только одна мысль:
Стоит ли ещё разрабатывать модели самостоятельно... (плачет)
Будучи аспирантом направления воплощённого интеллекта в MMLab Гонконгского университета, Чэнь Тяньсин участвовал в написании отчёта RoboDojo об оценке и аттестации GPT-6 Astra (далее — «отчёт»).
△Ранний отчёт об оценке GPT-6 Astra от команды RoboDojo
Вспоминая один день в середине сентября, Чэнь Тяньсин рассказал Quantum位, что когда его партнёры один за другим приносили результаты тестов, он на несколько секунд остолбенел:
Вы можете видеть, что его влияние на 3D-реконструкцию, математику и различные другие области беспрецедентно.
Пугающе, действительно довольно пугающе.
Все были ошеломлены GPT-6
«Воплощённые собственные модели всё ещё добавляют 0,1 и 0,2 балла поверх 80 баллов, тогда как GPT-6 Astra уже одним махом перескочил с 80 баллов до 90 баллов».
Это яркая аналогия, которую Чэнь Тяньсин привёл при обзоре этой оценки.
Ещё более поразительно то, что в некоторых тестах Astra даже не проходил дополнительного постобучения под конкретные задачи и не использовал демонстрации задач; опираясь исключительно на языковые инструкции, он смог выполнить довольно много задач роботизированного манипулирования.
Больше всего его удивило то, что Astra внезапно продемонстрировал три способности, которые воплощённым моделям ранее приходилось целенаправленно преодолевать.
Первая — это ICL (In-Context Learning, обучение в контексте).
Проще говоря, это позволяет роботу быстро освоить новую задачу с помощью небольшого объёма контекстной информации.
Например, если человек записывает видео того, как он выполняет операцию, и добавляет текстовые описания, робот может понять, как это сделал человек, и попытаться воспроизвести это с помощью роботизированной руки.
В июле этого года ICL всё ещё был довольно популярным исследовательским направлением в сообществе воплощённого ИИ. Распространённая парадигма — продемонстрировать действия человека и заставить робота имитировать их для приобретения новых навыков, так называемое одноразовое обучение в контексте.
Но сообщество обнаружило, что предоставление Astra демонстраций в виде изображений или текста может дать более высокий процент успеха, чем их отсутствие.
Ещё более удивительной была его способность к онлайн-адаптации. Исследователи намеренно изменили ракурс камеры и систему координат действий, и Astra смог скорректировать свою стратегию после нескольких раундов попыток на основе фактических результатов выполнения, успешно завершив задачу.
Иными словами, он не только понимает контекст, но и может исправлять себя во время действий.
По мнению Чэнь Тяньсина, это происходит потому, что универсальные модели сами по себе обладают сильными способностями понимания контекста. Во время обычного чата она может помнить предыдущую историю разговора; получив видео, она также может понять связь между содержанием видео и текстом.
Перенос этих способностей на роботизированное манипулирование означает, что проблема ICL, которая изначально требовала специальных исследований, внезапно получила готовое решение.
Вторая — это обобщение на OOD (Out-of-Distribution, вне распределения) и способность к коррекции.
В реальных условиях роботы легко сталкиваются с ситуациями, выходящими за пределы их обучающих данных.
Например, роботизированная рука собирается схватить чашку, но чашку внезапно толкают, и её положение меняется.
Модель, чрезмерно полагающаяся на обучающие данные, может продолжать выполнять движение по исходной траектории и в итоге схватить пустоту.
Однако Astra может корректировать свои действия на основе изменившейся визуальной информации и пытаться захватить объект.
Это звучит как совсем небольшое действие, но за ним стоит вопрос о том, может ли робот адаптироваться к реальному миру.
В конце концов, в реальном мире никто не отвечает за то, чтобы ставить каждую чашку обратно в её положение времён обучения.
Третье — манипуляция с открытым словарём.
Эта способность предполагает согласование между языком и действиями.
Например, если пользователь формулирует запрос на операцию разными способами, робот всё равно может его понять и выполнить.
В прошлом часто существовал разрыв между пониманием языка и выполнением действий, и воплощённым моделям требовалось постобучение для конкретных задач, чтобы лучше достичь согласования.
Но Astra продемонстрировала более сильные способности в этом отношении. В некоторых тестах даже без дополнительного постобучения и демонстраций для конкретных задач она могла выполнить довольно много задач роботизированной манипуляции, полагаясь исключительно на языковые инструкции.
С точки зрения Чэнь Тяньсина, вышеупомянутые три были когда-то чрезвычайно значимыми техническими тезисами в области воплощённого ИИ, и в прошлом каждый из них мог быть представлен как отдельная история стартапа.
Теперь Astra решила все три сразу, что является почти взрывным шоком для исходного маршрута R&D воплощённых моделей.
△Результаты zero-shot тестов на бенчмарке RoboDojo-Sim не означают, что Astra уже может стабильно выполнять эти задачи на реальных роботах.
В отчёте команда RoboDojo отметила, что тестирование Astra на реальных машинах однажды было приостановлено из-за проблем с безопасностью.
Высокие баллы в таблице лидеров симуляции пока нельзя напрямую приравнивать к производительности в реальном мире.
Но этого уже достаточно, чтобы заставить воплощённые компании пересмотреть свои прошлые инвестиции в R&D.
Почему универсальная большая модель, изначально не созданная для роботизированной манипуляции, может быстро приблизиться к возможностям, которые воплощённые компании накапливали годами?
Это в некотором смысле непреднамеренный успех.
Хотя универсальные большие модели не начинали учиться робототехнике с нуля, они вошли в область робототехники, неся с собой ряд способностей, накопленных во время крупномасштабного предобучения, таких как язык, зрение, рассуждение и программирование.
Эти способности изначально имели каждая своё назначение, но неожиданно, при применении к роботам, они также могут быть использованы напрямую.
Напротив, многие воплощённые компании обучают мозг робота с нуля, и данные, которые они имеют, в основном происходят из самой роботизированной манипуляции.
Чтобы модель понимала окружающую среду, понимала инструкции и училась действиям, многие способности должны быть
Diandian
выращены из ограниченных данных.
Один входит в робототехнику с полным набором универсальных способностей, а другой всё ещё инвестирует данные, вычисления и рабочую силу отдельно для каждой способности.
В этом состязании сами стартовые линии различны.
Есть ли ещё необходимость в собственных моделях?
GPT-6 Astra действительно очень сильна, но она ещё недостаточно сильна, чтобы заставить воплощённые компании просто сложить оружие и сдаться.
По крайней мере, в реальном физическом мире всё ещё остаётся множество трудных задач, ожидающих решения.
Сюй Хуачжэ, основатель Pokebot, разделяет возможности воплощённого интеллекта на три уровня: семантическое, пространственное и физическое обобщение.
Он считает, что Astra выдающимся образом проявляет себя на первых двух, но всё ещё сталкивается с проблемами в сложном физическом контакте, изменении усилий, деформации объектов и высокоточной манипуляции.
Например, позволить роботу знать, где находится чашка и что нужно протянуть руку, чтобы её схватить, — это совершенно не то же самое, что позволить ему устойчиво схватить чашку.
Чашка мягкая или твёрдая? Какое усилие следует приложить при захвате? Какие изменения происходят после того, как объект сжат или с ним произошло столкновение?
Эти проблемы невозможно решить, лишь понимая визуальную информацию и осмысливая инструкции.
△Скриншот отчёта
Команда RoboDojo также обнаружила в ходе своей оценки, что Astra не превосходит по всем задачам.
Геометрическое выравнивание и понимание языковых инструкций — это его сильные стороны, но когда дело доходит до непрерывного контакта и многошаговой физической манипуляции, у существующих VLA всё ещё есть немало возможностей для улучшения.
Ван Цянь, основатель X Square Robot, придерживается мнения, что для того, чтобы универсальные большие модели вошли в воплощённый ИИ, им всё ещё придётся столкнуться с инфраструктурными вопросами, такими как данные роботов, оценка в реальном мире, аппаратное обеспечение, симуляция и развёртывание.
Эти трудности не исчезнут автоматически только потому, что у кого-то есть более мощная языковая модель.
Вопрос в том, станет ли то, что Astra не может делать хорошо сегодня, внезапно достижимым завтра?
В настоящее время ещё одна распространённая критика Astra в отрасли заключается в том, что скорость его вывода слишком низкая.
Чэнь Тяньсин также заметил, что облачный API GPT-6 Astra имеет относительно высокую задержку вывода, что является реальным препятствием для управления роботом в реальном времени с обратной связью.
Подумайте: если роботу приходится ждать, пока большая модель долго думает, перед каждым действием, вероятно, будет трудно соответствовать требованиям реальных сценариев.
Но Чэнь Тяньсин считает, что эта проблема не является фундаментальным барьером; уже существует множество готовых решений для развёртывания LLM на устройстве, включая такие технологии, как квантование моделей, дистилляция и движки вывода на устройстве. Пока компании, разрабатывающие большие модели, рассматривают робототехнику как важный коммерческий сценарий, они могут использовать существующий технологический стек для завершения оптимизации задержки.
За этой проблемой скрывается понятие, которое очень легко перепутать: «частота вывода модели» и «частота управления роботом» — это не одно и то же.
Инженер по воплощённым моделям, пожелавший остаться анонимным, рассказал QbitAI:
Медленный вывод всё ещё может позволять быстрое управление; жертвуется только скорость реакции. Для задач на конвейерной линии, которые больше зависят от ритма, это на самом деле не имеет значения.
Например, при сортировке экспресс-посылок роботам нужно непрерывно и стабильно захватывать и размещать объекты. Высокоуровневая модель отвечает за понимание задачи и планирование действий, а низкоуровневая система управления выполняет команды управления с более высокой частотой.
Пока задача допускает предварительное планирование или имеет определённую терпимость к задержке реакции, большой модели не обязательно участвовать в каждом цикле низкоуровневого управления.
Конечно, для задач, связанных с высокоскоростными динамическими изменениями и сложным контактом, скорость реакции по-прежнему важна.
Но по крайней мере, медленный вывод не обязательно означает, что управление робота не является быстрым.
Различные недостатки, выявленные сегодняшними универсальными большими моделями, нельзя напрямую рассматривать как защитный барьер, на который воплощённые компании будут опираться для выживания в будущем.
Для воплощённых компаний эта истина несколько болезненна для восприятия.
Но факты налицо. В этом году OpenAI уже начал набирать большое количество сотрудников на должности, связанные с робототехникой.
Если в будущем универсальные модели поглотят больше данных о манипуляциях роботов, границы возможностей, изначально принадлежавшие специализированным воплощённым моделям, могут продолжать сжиматься.
Остаются ли у воплощённых компаний возможности? По-прежнему ли необходимо самостоятельно разрабатывать модели?
Суждение Чэнь Тяньсина таково: возможность для воплощённых компаний заключается не в том, чья модель умнее, а в том, кто сможет создать лучшую «экономическую выгоду».
Этот расчёт легко сделать.
На высокостандартизированной промышленной сборочной линии, где роботы каждый день повторяют одни и те же действия, клиенты больше всего заботятся о проценте успеха, времени цикла, стабильности и стоимости.
Если потратить несколько центов на вызов модели может стабильно выполнить задачу, зачем настаивать на том, чтобы тратить несколько долларов на вызов GPT-6 Astra?
Даже если требуется определённый уровень интеллекта и способности к обобщению, небольшая модель, специально оптимизированная, может оказаться более экономичной, чем прямой вызов Astra.
Конечно, если это домашний сервисный робот, ситуация иная.
Сегодня он убирает со стола, завтра ищет предметы, а послезавтра появляется новая задача, которую он никогда раньше не видел.
В такой открытой среде чем больше различаются задачи, тем выше требования к пониманию, планированию и способности к обобщению. Более сильная универсальная модель может, напротив, иметь больше преимуществ.
6 ноября Чэнь Тяньсин объяснил различие в своём личном блоге с помощью двух осей.
Слева — «требования сценария», справа — «возможности модели». Чем выше, тем больше акцент на универсальности; чем ниже, тем больше акцент на эффективности.
△Блог Чэнь Тяньсина
«Открытые задачи могут больше полагаться на универсальные модели, стабильные задачи могут использовать правила или облегчённые стратегии, а сценарии между ними оставляют пространство для моделей, оптимизированных под сценарий», — сказал Чэнь Тяньсин.
На мой взгляд, объединение двух осей сводится к одному предложению:
Если что-то можно решить с помощью правил/облегчённых стратегий, нет необходимости привлекать большую модель; если задачу можно выполнить с помощью небольшой модели, нет необходимости каждый раз вызывать Astra.
И наоборот, если задачи слишком разнообразны, специализированным моделям нужно непрерывно собирать данные и переобучаться, поэтому прямой вызов универсальной модели может быть более экономически выгодным.
Решение о том, какой подход выбрать, в конечном итоге требует расчёта полного экономического баланса.
Какова вероятность успеха выполнения одной задачи? Сколько времени это занимает? Сколько ручного вмешательства требуется после сбоя? Сколько стоят сбор данных, обучение модели и долгосрочное развертывание?
Эти конкретные цифры определяют, обладает ли робототехническая система коммерческой ценностью.
Итак, дело не в том, что собственная разработка неважна, а в том, что «направления собственной разработки» компаний в области воплощенного интеллекта необходимо выстроить в новом порядке.
Возможности, с которыми универсальные модели уже хорошо справляются, такие как понимание языка и планирование задач, можно рассматривать для прямого использования; вопросы, связанные с физическим взаимодействием, управлением конкретным телом, адаптацией к реальным сценариям и эффективностью развертывания, по-прежнему требуют существенных специализированных исследований и разработок.
Что касается того, необходимо ли продолжать обучение более крупной фундаментальной модели воплощенного интеллекта с нуля, это зависит от того, сможет ли она обеспечить достаточно очевидные и достаточно долговременные преимущества в реальных задачах.
Некоторые друзья из отрасли жаловались Quantum位, что многие команды в области воплощенного интеллекта все еще несут в себе довольно сильный академический склад ума, постоянно думают о создании модели общего интеллекта и мечтают запихнуть все задачи в свою собственную модель.
Но ситуация изменилась. GPT-6.2 Astra вот-вот появится.
Если направление исследований компании оторвано от ее целевой отрасли, то как бы красиво ни была обучена модель, коммерческий цикл не обязательно замкнется.
И еще кое-что
За последние 60 дней многие практики отрасли воплощенного интеллекта при приватных беседах по-прежнему пребывают в растерянности.
Просто в публичных ситуациях, когда речь заходит о защите собственных интересов и позиций, им все равно приходится стоять на своем до конца.
Определенно одно: GPT-6 Astra действительно нарушил первоначальный ритм отрасли воплощенного интеллекта...
Эффект Матфея, переоценка отрасли после IPO Unitree, превращение RSI в новую горячую точку... все это наложилось друг на друга и в конечном итоге сформировало недавние настроения в отрасли —
«Инвесторы начинают прекращать инвестировать в воплощенный ИИ».
Возможно, это несколько преувеличено, но совершенно верно то, что стартапы в области роботов с воплощенным интеллектом прощаются с этапом демо и сжигания инвестиций.
Отборочный раунд битвы сотен машин уже начался.
Эта статья взята из публичного аккаунта WeChat «Quantum位» (ID: QbitAI), автор: Фокус на передовых технологиях
