Соучредитель Ethereum Виталик Бутерин поддержал решение Moonshot AI ограничить продвинутые хакерские возможности в своей модели Kimi K3.1 Pro, предупредив, что плохо управляемые риски безопасности ИИ могут привести к ограничительным проверкам личности и массовой слежке.
Краткое содержание
- Виталик Бутерин поддерживает ограничение опасных возможностей ИИ без ограничения доступа на основе личности пользователей.
- Отфильтрованная модель Kimi от Moonshot набрала 81% по сравнению с 90,5% у её неотфильтрованного аналога.
- Бутерин предупредил, что неконтролируемые атаки ИИ могут стимулировать обязательный KYC и навязчивую слежку.
- Moonshot планирует выпустить открытые веса Kimi K3.1 Pro к 4 ноября.
В посте от 26 октября в X Бутерин защитил решение Moonshot исключить продвинутый наступательный кибербезопасный материал из обучения модели, аргументируя это тем, что разработчикам нужно больше времени для укрепления программного обеспечения против всё более способных атак ИИ.
Комментарии последовали за объявлением Moonshot от 23 октября о Kimi K3.1 Pro, которая уже доступна через её приложения и API. Китайский стартап намерен опубликовать полные веса модели к 4 ноября.
Виталик Бутерин поддерживает ограничение опасных возможностей ИИ
Позиция Виталика Бутерина сосредоточена на различии между ограничением того, что может делать модель ИИ, и решением о том, каким людям должно быть разрешено её использовать.
«Дискриминация по отношению к вариантам использования НАМНОГО менее плоха, чем дискриминация по отношению к пользователям», — написал он, поддержав решение Moonshot не включать продвинутые наступательные кибервозможности в обучение.
Он утверждал, что миру нужно время для подготовки к мощным атакам на основе ИИ путём укрепления существующей инфраструктуры, проверки старого программного обеспечения и применения формальной верификации к новому разрабатываемому коду.
Формальная верификация включает математическую проверку того, удовлетворяет ли программное обеспечение заданным требованиям. Бутерин неоднократно поддерживал этот подход как средство выявления уязвимостей безопасности до развёртывания программ.
В сентябре он отверг утверждения о том, что хакерство на основе ИИ в конечном итоге сделает кибербезопасность безнадёжной, аргументируя это тем, что автоматизированная верификация может улучшить способность защитников обеспечивать безопасность программного обеспечения.
Его последние комментарии не предполагали, что удаление опасного обучающего материала помешает другим разработчикам создавать более способные модели.
Когда пользователь X LOID спросил, разработают ли конкурирующие лаборатории в конечном итоге продвинутые наступательные возможности в любом случае, Бутерин ответил: «Да, конечно, разработают».
Moonshot сообщает об измеримом влиянии ограничений безопасности Kimi
Moonshot представила Kimi K3.1 Pro как усовершенствованную модель с открытыми весами, построенную на её существующей архитектуре Kimi K3.
Согласно техническому объявлению компании, разработчики удалили отдельные данные, связанные с кибератаками, из обучения и обучения с подкреплением, сохранив при этом общие способности программирования.
Это решение снизило производительность на внутреннем бенчмарке эксплойтов Moonshot. Версия без ограничений решила 90,5% задач по сравнению с 81% у выпущенной модели.
Разница составляет 9,5 процентных пункта, хотя компания не установила, как это снижение отражается на предотвращении реальных кибератак.
Moonshot сообщила, что предыдущая модель Kimi K3 набрала 33,3% в той же оценке, что указывает на то, что ограниченный преемник всё ещё показал значительно лучшие результаты в её собственных тестах.
В тесте Terminal-Bench 4.0 новая модель достигла 65,7% по сравнению с заявленными Moonshot показателями 66,4% для Claude Opus 5.5 и 58,2% для GPT-6 Astra.
Эти показатели производительности взяты из тестирования Moonshot и не были независимо подтверждены.
Компания выпустила версию Highspeed, которая, по её словам, работает в два-три раза быстрее стандартного предложения.
Бутерин предупреждает, что сбои ИИ могут привести к более строгому контролю доступа
Помимо непосредственных проблем кибербезопасности, Виталик Бутерин предупредил, что правительства и технологические компании могут отреагировать на серьёзные инциденты, связанные с ИИ, введя ограничения для обычных пользователей.
Он описал возможное будущее, включающее заблокированные модели, обязательные проверки Know Your Customer и навязчивое наблюдение.
При таких порядках доступ к передовым инструментам ИИ может зависеть от гражданства человека, удостоверяющих документов или других учётных данных.
Бутерин предупредил, что некоторые пользователи могут стать «второсортными, третьесортными или четверосортными» участниками в зависимости от их квалификации или гражданства.
Его опасения согласуются с его недавними экспериментами, связанными с приватным доступом к ИИ.
16 октября он представил ориентированную на приватность конфигурацию агента, сочетающую маршрутизацию через Tor, анонимные платежи через zkAPI и локальную перезапись запросов для сокращения личной информации, раскрываемой внешним моделям.
Система была разработана, чтобы позволить пользователям получать доступ к сервисам ИИ, ограничивая раскрытие их личности и активности.
Кибербезопасность ИИ остаётся проблемой для разработчиков блокчейна
Независимые оценки ранее изучали наступательные возможности моделей Moonshot.
В июле Центр стандартов и инноваций в области ИИ США и Институт безопасности ИИ Великобритании оценили Kimi K3 в ходе смоделированных кибератак.
Исследователи обнаружили, что модель показала результаты ниже ведущих систем с кибервозможностями, но всё ещё могла пытаться осуществлять наступательные операции, несмотря на существующие меры защиты.
В одной смоделированной атаке на корпоративную сеть Kimi K3 выполнила в среднем 17 шагов из 32 по сравнению с 28,5 для самых способных протестированных американских моделей.
Оценка охватывала предыдущий выпуск Kimi K3, а не недавно представленный K3.1 Pro.
Ранее Бутерин предлагал направить больше разработки с помощью ИИ на тестирование безопасности и математическую верификацию.
В мае он определил применения этого подхода в виртуальных машинах с нулевым разглашением Ethereum, криптографических доказательствах, системах консенсуса и исследованиях квантово-устойчивой безопасности.
