Współzałożyciel Ethereum, Vitalik Buterin, poparł decyzję Moonshot AI o ograniczeniu zaawansowanych zdolności hakerskich w swoim modelu Kimi K3.1 Pro, ostrzegając, że źle zarządzane ryzyko związane z bezpieczeństwem AI może doprowadzić do restrykcyjnych weryfikacji tożsamości i powszechnej inwigilacji.
Podsumowanie
- Vitalik Buterin popiera ograniczanie niebezpiecznych zdolności AI bez ograniczania dostępu w oparciu o tożsamość użytkowników.
- Filtrowany model Kimi firmy Moonshot uzyskał 81% w porównaniu z 90,5% dla wersji niefiltrowanej.
- Buterin ostrzegł, że niekontrolowane ataki AI mogą zachęcać do obowiązkowego KYC i inwazyjnej inwigilacji.
- Moonshot planuje udostępnić otwarte wagi Kimi K3.1 Pro do 4 listopada.
W poście z 26 października na X Buterin bronił decyzji Moonshot o wykluczeniu zaawansowanych ofensywnych materiałów z zakresu cyberbezpieczeństwa z treningu modelu, argumentując, że deweloperzy potrzebują więcej czasu na wzmocnienie oprogramowania przeciwko coraz bardziej zdolnym atakom AI.
Komentarze nastąpiły po ogłoszeniu przez Moonshot 23 października ogłoszeniu Kimi K3.1 Pro, który jest już dostępny poprzez jego aplikacje i API. Chiński startup zamierza opublikować pełne wagi modelu do 4 listopada.
Vitalik Buterin popiera ograniczanie niebezpiecznych zdolności AI
Stanowisko Vitalika Buterina koncentruje się na rozróżnieniu między ograniczaniem tego, co model AI może robić, a decydowaniem, którym osobom powinno się pozwolić go używać.
„Dyskryminowanie przypadków użycia jest ZNACZNIE mniej złe niż dyskryminowanie użytkowników” – napisał, popierając decyzję Moonshot o pozostawieniu zaawansowanych ofensywnych zdolności cybernetycznych poza treningiem.
Argumentował, że świat potrzebuje czasu na przygotowanie się na potężne ataki napędzane przez AI poprzez wzmocnienie istniejącej infrastruktury, przegląd starszego oprogramowania i zastosowanie formalnej weryfikacji do nowo opracowanego kodu.
Formalna weryfikacja polega na matematycznym sprawdzeniu, czy oprogramowanie spełnia określone wymagania. Buterin wielokrotnie popierał to podejście jako sposób na znajdowanie słabości bezpieczeństwa przed wdrożeniem programów.
We wrześniu odrzucił twierdzenia, że hakerstwo napędzane przez AI ostatecznie uczyni cyberbezpieczeństwo nie do wygrania, argumentując, że zautomatyzowana weryfikacja może poprawić zdolność obrońców do zabezpieczania oprogramowania.
Jego najnowsze komentarze nie sugerowały, że usunięcie niebezpiecznych materiałów treningowych powstrzyma innych deweloperów przed tworzeniem bardziej zdolnych modeli.
Kiedy użytkownik X LOID zapytał, czy konkurencyjne laboratoria i tak ostatecznie opracują zaawansowane zdolności ofensywne, Buterin odpowiedział: „Tak, oczywiście, że to zrobią”.
Moonshot raportuje mierzalny wpływ ograniczeń bezpieczeństwa Kimi
Moonshot wprowadził Kimi K3.1 Pro jako ulepszony model z otwartymi wagami zbudowany na istniejącej architekturze Kimi K3.
Zgodnie z ogłoszeniem technicznym firmy, deweloperzy usunęli wybrane dane związane z cyberatakami z treningu i uczenia ze wzmocnieniem, zachowując ogólne zdolności programistyczne.
Decyzja obniżyła wydajność w wewnętrznym benchmarku exploitów Moonshot. Wersja bez ograniczeń rozwiązała 90,5% zadań, w porównaniu z 81% dla wydanego modelu.
Różnica wynosi 9,5 punktu procentowego, choć firma nie ustaliła, jak ten spadek przekłada się na rzeczywiste zapobieganie cyberatakom.
Moonshot poinformował, że poprzedni model Kimi K3 uzyskał 33,3% w tej samej ocenie, co wskazuje, że ograniczony następca nadal wypadł znacznie lepiej w ich własnych testach.
W benchmarku Terminal-Bench 4.0 nowy model osiągnął 65,7%, w porównaniu z raportowanymi przez Moonshot wynikami 66,4% dla Claude Opus 5.5 i 58,2% dla GPT-6 Astra.
Te dane dotyczące wydajności pochodzą z testów Moonshot i nie zostały niezależnie zweryfikowane.
Firma udostępniła wersję Highspeed, która według jej zapewnień działa dwa do trzech razy szybciej niż standardowa oferta.
Buterin ostrzega, że awarie AI mogą doprowadzić do stricter kontroli dostępu
Poza bezpośrednimi obawami dotyczącymi cyberbezpieczeństwa Vitalik Buterin ostrzegł, że rządy i firmy technologiczne mogą zareagować na poważne incydenty związane z AI, nakładając ograniczenia na zwykłych użytkowników.
Opisał możliwą przyszłość obejmującą zablokowane modele, obowiązkowe kontrole Know Your Customer i inwazyjną inwigilację.
W takich warunkach dostęp do zaawansowanych narzędzi AI mógłby zależeć od narodowości danej osoby, dokumentów tożsamości lub innych poświadczeń.
Buterin ostrzegł, że niektórzy użytkownicy mogliby stać się „drugiej, trzeciej lub czwartej kategorii” uczestnikami w zależności od ich kwalifikacji lub obywatelstwa.
Jego obawy są spójne z jego niedawnymi eksperymentami dotyczącymi prywatnego dostępu do AI.
16 października przedstawił skoncentrowaną na prywatności konfigurację agenta łączącą routing Tor, anonimowe płatności przez zkAPI i lokalne przepisywanie promptów w celu ograniczenia danych osobowych ujawnianych zewnętrznym modelom.
System został zaprojektowany tak, aby umożliwić użytkownikom dostęp do usług AI przy jednoczesnym ograniczeniu ujawniania ich tożsamości i aktywności.
Cyberbezpieczeństwo AI pozostaje zmartwieniem dla deweloperów blockchain
Niezależne oceny wcześniej badały ofensywne możliwości modeli Moonshot.
W lipcu amerykańskie Center for AI Standards and Innovation oraz brytyjski AI Security Institute oceniły Kimi K3 w symulowanych cyberatakach.
Badacze stwierdzili, że model osiągał wyniki poniżej wiodących systemów zdolnych do cyberoperacji, ale nadal mógł podejmować próby operacji ofensywnych pomimo istniejących zabezpieczeń.
W jednym z symulowanych ataków na sieć korporacyjną Kimi K3 wykonał średnio 17 kroków z 32, w porównaniu z 28,5 dla najzdolniejszych testowanych modeli amerykańskich.
Ocena obejmowała poprzednie wydanie Kimi K3, a nie nowo wprowadzony K3.1 Pro.
Wcześniej Buterin zaproponował skierowanie większej ilości prac rozwojowych wspomaganych przez AI na testy bezpieczeństwa i weryfikację matematyczną.
W maju wskazał zastosowania tego podejścia w maszynach wirtualnych zero-knowledge Ethereum, dowodach kryptograficznych, systemach konsensusu i badaniach nad bezpieczeństwem odpornym na komputery kwantowe.
