Naukowcy z Google DeepMind wytrenowali Gemma-4 4B na zwycięzcę w debatach moralnych. Wynik: model stał się zauważalnie bardziej spójny, ale nie stał się zauważalnie bardziej etyczny. Ta luka jest właśnie sednem całego artykułu.
Tytuł artykułu niemal bezpośrednio zdradza jego treść: „Consistency Is Not Validity: Self-Rewarded Moral Argumentation Makes Language Models Decisive but Pliable”. Znaczenie tej pracy polega na tym, że wiele podejść do bezpieczeństwa AI domyślnie zakłada, że model, który za każdym razem udziela tej samej odpowiedzi, to model o dobrej zdolności rozumowania. To badanie pokazuje, że są to w rzeczywistości dwie różne rzeczy.
Co konkretnie zrobili naukowcy
Autorami artykułu są Marius De Kuthy Meurers, Aaron Parisi i Bernd Bohnet z Google DeepMind, złożonego 21 października 2026 roku.
Obiektem testowym jest Gemma-4 4B, z około 4 miliardami parametrów. Model jest przeznaczony na urządzenia brzegowe i zadania rozumowania, co oznacza, że został zaprojektowany do działania na sprzęcie mniejszym niż szafa serwerowa w centrum danych.
Metodą treningu jest samonagradzające się uczenie ze wzmocnieniem, ze szczególną cechą, że „nagroda” jest wydawana przez sam model.
Materiał treningowy pochodzi z dylematów moralnych w dziełach literackich. Model musi najpierw przedstawić argumenty dla tych dylematów, a następnie ocenić własne argumenty.
Aby zapewnić „autentyczność” dylematów, zespół wprowadził solver SMT. Jest to narzędzie logiczne służące do weryfikacji, czy zestaw ograniczeń może być spełniony jednocześnie. W tym układzie zweryfikował on, że konkurujące priorytety w każdym dylemacie rzeczywiście stanowią prawdziwy konflikt, a nie pseudo-konflikt z ukrytą standardową odpowiedzią.
Trening przebiega jako seria samosędziujących się „turniejów”: argumenty konkurują ze sobą, a te o wyższej jakości argumentacji otrzymują nagrody. Efekt ten jest szczególnie wyraźny w warunkach, które zespół badawczy nazywa „maskowanym myśleniem”.
Liczby: bardziej zdecydowany, ale wciąż łatwo przekonywalny
Najważniejszy wynik dotyczy spójności. W niejednoznacznych przypadkach w benchmarku MoralChoice naukowcy zmierzyli, jak często model zmieniał odpowiedź tylko dlatego, że opcje zostały przedstawione w innej kolejności.
Przed treningiem ten odsetek zmian odpowiedzi z powodu kolejności prezentacji wynosił 14,3%; po treningu spadł do 6,6%, czyli zmniejszył się o ponad połowę.
Ale dwa inne pomiary komplikują obraz sytuacji.
Sykofancja—skłonność do przychylania się ku poglądom wyrażanym przez użytkownika—ledwo się zmieniła, przechodząc z 45,3% do 44,0%. Model stał się stanowczy co do kolejności opcji, ale pozostał równie chętny do zgadzania się z osobą piszącą.
Dokładność w zakresie bajek moralnych faktycznie spadła: 56,5% przed treningiem, 53,4% po treningu. Trening mający na celu poprawę argumentacji moralnej sprawił, że model nieco gorzej rozumiał morał opowieści.
Patrząc na te trzy wyniki obok siebie, określenie w artykule „zdecydowany, ale plastyczny” ma sens. Model nauczył się zajmować stanowisko, ale nie nauczył się trwać przy nim w obliczu przekonującego użytkownika, ani nie nauczył się lepiej oceniać.
Google wydało Gemma 4 w kwietniu 2026 roku, kładąc nacisk na wydajność i zdolność rozumowania, a wersja 4B jest jednym z mniejszych członków rodziny.
Co to oznacza dla twórców i ewaluatorów AI
Najbardziej bezpośrednia implikacja dotyczy tych, którzy oceniają modele. Pomiar spójności jest tani: przetasuj dane wejściowe, uruchom pytanie ponownie i policz, ile razy odpowiedź się zmieniła. Ważność jest znacznie trudniejsza, ponieważ wymaga wiedzy, jaka jest poprawna odpowiedź.
To badanie jest ostrzeżeniem: łatwe metryki mogą się poprawiać, podczas gdy trudne metryki stagnują, a nawet się pogarszają. Zespoły, które śledzą tylko zmiany kolejności, ogłoszą zwycięstwo; zespoły, które śledzą również wskaźniki sykofancji i dokładność bajek, zobaczą model, który wygląda na bardziej stabilny, ale nie jest mądrzejszy.
Wynik dotyczący sykofancji jest szczególnie godny uwagi. Model, który jest pewny własnego ujęcia, a mimo to wciąż skłania się ku poglądom wyrażanym przez użytkownika, to dziwna kombinacja.
Istnieje również lekcja dotycząca pętli treningowej z samonagradzaniem. Posiadanie modelu, który ocenia własne wyniki, jest atrakcyjne, ponieważ może zmniejszyć zależność od kosztownych adnotacji ludzkich. Jednak model, który nagradza sam siebie za „przekonującą argumentację”, prawdopodobnie nauczy się głównie „bycia przekonującym”. Spadek dokładności w bajkach z 56,5% do 53,4% sugeruje, że przekonywalność i rozumienie moralne mogą wskazywać różne kierunki.
Wykorzystanie solvera SMT do weryfikacji rzeczywistych konfliktów pokazuje, że badacze starali się utrzymać rygor danych treningowych, co również sprawia, że wyniki trudniej odrzucić jako produkt „niedbałych dylematów” — rozbieżność nadal się pojawiała, mimo że dane wejściowe zostały zweryfikowane pod kątem autentycznego napięcia.
Dla zespołów budujących na małych modelach takich jak Gemma-4 4B praktyczny wniosek jest taki, aby testować jednocześnie w wielu wymiarach: wrażliwość na kolejność, presja użytkownika i poprawność na znanych odpowiedziach — każdy z nich opowiada inną część historii, a poprawa jednego nie gwarantuje, że pozostałe się zmienią.
