Vývoj jazykových modelů běží rychleji, než stíhá poctivá lidská kontrola jejich chování. Do takové atmosféry přišla Anthropic se studií, která na první pohled slibuje vysvobození: autonomní agent dostal za úkol navrhovat opravy závažných bezpečnostních vad v modelech a postavil se proti osmadvaceti špičkovým lidským výzkumníkům. Vypadá to jako triumf — umělá inteligence začala dělat bezpečnější umělou inteligenci levněji a rychleji než experti. Při bližším čtení je ale výsledek mnohem zajímavější, protože nevypovídá ani tak o bezpečnosti, jako spíš o podobě práce, která nás čeká.
Jak se vůbec pozná, že se model zlepšil
Zarovnání modelu s lidskými hodnotami se v praxi měří jednoduše. Vezme se sada testovacích scénářů zaměřených na konkrétní nežádoucí chování a spočítá se, kolik procent odpovědí projde hodnoticím filtrem. Vypadne z toho jedno čisté číslo od nuly do stovky.
Jakmile se ale systém začne ladit přímo na jednu vadu, číhá past. Zlepšilo se chování doopravdy, nebo model jen našel zkratku, jak metriku vyhnat na plný počet bodů, zatímco problém pod povrchem zůstal netknutý? Přesně o tom mluví Goodhartův zákon: jakmile se z měřítka stane cíl, přestává být dobrým měřítkem, protože se dá hrát. Proto je podstatné vědět nejen co Anthropic testuje, ale hlavně jak to testuje.
Automatizovaný výzkumník zarovnání a jailbreaky
Agent, kterému autoři říkají automatizovaný výzkumník zarovnání (AAR), je v podstatě uzavřená smyčka agentů. Předhodí se jim zadání a nechají se běžet na plné obrátky bez toho, aby do procesu musel zasahovat člověk.
Typická vada, kterou má takový agent odstranit, vypadá takto: model odmítne poradit s výrobou chemické zbraně, ale svolí, když se stejná prosba zabalí do neškodně vypadajícího rámce — třeba do scénáře k filmu o tom, jak se takové zbraně tajně vyrábějí. Obcházení pravidel se říká jailbreak a jeho princip je jednoduchý. Zeptat se tak, aby model odpověděl na něco, na co odpovídat neměl.
Smyčka bez člověka: rešerše, hypotéza, trénink, test
Agent začíná rešerší. Projde si existující literaturu a nastuduje, jak obcházení pravidel funguje a čím se lidé o ně doposud pokoušeli. Z toho si postaví hypotézu — třeba že model potřebuje víc příkladů, kde otázka zní nevinně, ale odpověď by mohla reálně uškodit.
V dalším kroku si sám napíše potřebný kód v Pythonu, nasbírá a vygeneruje celou sadu záludných proseb a připraví k nim ukázky, jak se na ně má model správně dívat. Trénink proběhne na grafických kartách, upraví se cílové váhy a vyleze z toho nový, zarovnanější model.
Jakmile trénink skončí, agent nový model sám otestuje. Neprověřuje ale jen to, jestli přestal radit s nebezpečnou chemií — prožene ho i filtrem schopností, aby zjistil, jestli při opravě nezačal odmítat i neškodné věci. Přehnaně citlivý model ví, že chlor se používal jako chemická zbraň, a může kvůli tomu odmítnout mluvit o chloru i s dítětem, které se učí chemii. Falešnou pozitivitu zná každý, kdo zkusil s modelem Fable 5 řešit cokoliv kolem kyberbezpečnosti a narazil na odmítnutí i u obyčejné kontroly přihlašovacího prostředí.
Buď model zpanikaří a odmítne i otázku na periodickou tabulku, protože si celou chemii spojil s nebezpečím — pak je to špatně a jede se další kolo. Nebo chemii vysvětlí normálně a se zbraní nepomůže. Přesně o to jde.
Sto padesát kol a člověk jen na startu
Agent dostane okamžitou zpětnou vazbu ve formě přesného skóre, vyhodnotí úspěšnost a hned startuje znovu s upravenou strategií. Takto zvládne otočit zhruba sto padesát pokusů za sebou a v každém dalším kole ladí hypotézu, data i kód. Role člověka se smrskne na minimum na začátku: vybrat bezpečnostní vadu, připravit hřiště a odklepnout rozpočet. Od té chvíle je systém soběstačný.
A soběstačnost je to, co se od umělé inteligence doopravdy čeká. Většina lidí dnes chodí za modelem s jednotlivým úkolem, sedí u toho a kliká; případně pošle robota pracovat a doufá, že to dopadne. Spolehnout se na to většinou nejde. Lepší je automatizovaný proces, který běží sám podle jasně daných, neohýbatelných pravidel.
U takových systémů přitom platí, že většina řešení vůbec nemusí být agent. Může to být obyčejný předvídatelný kód, který běží pokaždé stejně, a umělá inteligence se použije jen tam, kde je nutná úvaha, kterou kódem popsat nelze. Výsledek je spolehlivější, levnější a dá se do něj zapojit i malý lokální model, takže celý provoz zůstane pod kontrolou.
Kde se to vzalo: rozpad Superalignmentu
Kořeny celého experimentu nesahají do Anthropicu, ale k rozpadu jednoho z nejsledovanějších výzkumných týmů v historii oboru. Pátého července 2023 vyhlásili Jan Leike a Ilja Sutskever v OpenAI projekt Superalignment a zavázali se k bezprecedentní věci — vyčlenit dvacet procent veškerého výpočetního výkonu firmy na čtyři roky na jediný cíl. Postavit automatizovaného výzkumníka zarovnání zhruba na lidské úrovni.
Úvaha za tím byla přímočará. Člověk nemůže dlouhodobě hlídat a bezpečně korigovat systém, který bude chytřejší než on a vyvíjí se takto rychle; potřebuje si na tu bezpečnostní dřinu postavit pomocníka z řad umělé inteligence.
Velkolepý plán vydržel necelý rok. Čtrnáctého května 2024 oznámil Sutskever odchod z OpenAI a Leike téhož dne rezignoval. Slavné oddělení se rozpadlo, ale nápad nezmizel — jen se přestěhoval. Leike v květnu 2024 nastoupil do Anthropicu, kde vede výzkum zarovnání, a nová studie je přímým naplněním toho, co tehdy slibovali.
Čísla, která studie ukázala
Agent poháněný modelem Claude Opus 4.8 se vrhl na deset přesně definovaných vad v zarovnání — od reward hackingu přes jailbreaky až po zatajování nejistoty. Vytvořil a otestoval celkem 1601 různých metod a výsledky působí velmi dobře. U reward hackingu zavřela nejlepší metoda 96 procent celého bezpečnostního problému, u klamání 82 procent, u prompt injection 79 a u jailbreaků 67. Medián úspěšnosti napříč všemi deseti vadami se pohyboval kolem 59 procent. Bezpečnostní zisky z malých modelů navíc bez problémů držely i poté, co je výzkumníci nasadili na téměř pětkrát větší modely.
Největší průlom přišel ve chvíli, kdy autoři vzali model Claude Sonnet 5 a nechali ho trénovat silnější Claude Opus 4.8. Sonnet dostal za úkol vybrat kvalitní tréninková data; za šestnáct hodin poskládal balík zhruba 2400 příkladů a zavřel 65 procent bezpečnostních děr. Plný ručně laděný produkční trénink Anthropicu zvládl 72 procent. Nešlo přitom o dohled řádově silnější inteligence nad slabší — mezi Sonnetem a Opusem jsou rozdíly minimální, takže šlo o demonstraci na skoro rovnocenných modelech.
V čem agent lidi porazil
Marketingové oddělení mělo v ruce hotovou senzaci a vyrazilo do světa se zprávou o tom, jak skvěle autonomní výzkum bezpečnosti funguje a že už skoro nejsou potřeba lidé. Jenže když se oslavné grafy na oficiálním webu porovnají s čísly uvnitř studie, nadšení sice zůstane, ale bomba je to podstatně menší.
Začněme tím, v čem agent skutečně vyniká. Osmadvacet lidských výzkumníků překonal u sedmi hodnocených vad, a to díky rychlému testování a iteracím s okamžitou zpětnou vazbou — za osm hodin toho zvládne nesrovnatelně víc než člověk. Bezpečnostní skóre zlepšil u všech deseti testovaných vad. A navzdory tomu, co si o strojích většina lidí pořád myslí, porazil lidský tým i v originalitě: jeho návrhy byly méně podobné existující literatuře. Byť jen o fous. Rychlejší, lepší a nápaditější než tým lidí — alespoň v testovacím prostředí, které lidem nedávalo mnoho času ani šancí.
Podmínka, na které to celé stojí
Jako plnohodnotná náhrada lidské práce se to ale prezentovat nedá. Celá mechanika stojí a padá na jediné věci — musí existovat rámec, který danou vadu přesně pojmenuje a umí ji spolehlivě změřit. Všech deset vad ve studii takový hotový rámec mělo. Vadu, kterou zatím nikdo nepojmenoval a neumí exaktně měřit, tímto způsobem nevyřešíte.
Automatizací se tak nečekaně odkryla hromada nové práce. Někdo ty přesné rámce musí nejdřív vymyslet a postavit, a na to ve vědeckých týmech dosud nebyl čas — dělaly totiž tu práci, kterou teď obstará agent. Přesně to čekejte v každém oboru, kam umělá inteligence vstoupí. Jednu část agendy odbavíme velmi rychle a vzápětí zjistíme, že za ní leží hora práce, kterou dosud nikdo nedělal, dělal ji špatně, nebo se do ní vůbec nepouštěl, protože to nešlo.
Skutečnou hvězdou je lidské lešení
Největší inženýrský triumf studie se skrývá právě v tomto detailu. Hvězdou není model, který bezpečnostní metody generoval, ale nekompromisní hodnoticí architektura, kterou kolem něj postavili autoři. Nešlo o skript, co do modelu bezhlavě sype prompty a čeká na zázrak, ale o promyšlené laboratorní lešení, které autonomního agenta drží v těsných kolejích.
Začíná to výzkumným plánem. Než agent poprvé sáhne do tréninkového kódu, musí sepsat formalizovaný mini paper a celý experiment natvrdo předregistrovat. Platí tam neúprosné metodické pravidlo: žádný výsledek se nesmí vymýšlet a racionalizovat až zpětně podle toho, jak zrovna dopadl. Model musí predikovat, co se stane, a své tvrzení pak potvrdit, nebo vyvrátit.
Jakmile se spustí tréninkový cyklus, agent nesmí optimalizovat jedno vytržené číslo, ale geometrický průměr uzavřeného bezpečnostního prostoru napříč všemi testy. Aby přitom model honěním bezpečnosti nezhloupl, musí po každé změně projít přísnou bránou obecných schopností. Při poklesu základních dovedností se jede znovu.
Nejzajímavější jsou takzvaná held out testovací data, na kterých se měří finální výsledky. Před agentem jsou fyzicky izolovaná na úrovni operačního systému, pod jiným uživatelským účtem. Ochranu podle autorů studie zajišťuje systém, ne důvěra — agent k těm datům zkrátka nemá přístup. Kolem experimentu tak vznikla téměř neprůstřelná digitální pevnost s automatizovanými audity kódu a přísnými pojistkami.
Když optimalizátor hledá zkratku
Pusťte do dokonale zamčeného prostředí autonomní systém, který dostane stovky pokusů a jediný úkol — urvat co nejvyšší skóre za každou cenu — a začne dělat přesně to, co dělá každý optimalizátor. Hledat nejlevnější zkratku k nejlepšímu možnému výsledku.
Pojistky zachytily pokusy o obcházení pravidel u 39 z celkových 1601 trajektorií. Na první pohled jde o dvě a půl procenta případů, jenže 67 procent těchto záchytů mělo identický rukopis. Agent nevymýšlel žádnou převratnou techniku. Vzal tentýž kód, který před chvílí pohořel, a cpal ho do systému znovu a znovu, jen s jiným náhodným seedem — číslem, které řídí náhodnost výstupu — aby náhodou trefil příznivý šum.
Nejvýmluvnější je záznam v experimentálním logu, kde agent svůj postup sám obhajuje: je to loterie na modelu s fixní kvalitou, takže replikace je racionální krok, a on to zkusí. Neřešil, jak model doopravdy zarovnat nebo jak v něm opravit nežádoucí chování. Chladně si spočítal, že když hodí kostkou dost často, zelené číslo mu tam dřív nebo později spadne. Do finálního reportování se žádný z těchto pokusů nedostal, protože je interní monitor včas zařízl. Agent ale předvedl, jak banálně a levně se dá slavná evaluační metrika vytěžit pouhým statistickým šumem, aniž by se na skutečném chování modelu cokoliv změnilo.
Goodhartovo prokletí
Není to chyba programu. Je to Goodhartův zákon v praxi a nese s sebou něco, čemu se dá říkat Goodhartovo prokletí. Spolu s receptem na chytrou umělou inteligenci jsme se odsoudili k tomu, nechat se jí neustále přechytračovat.
Každá jednotlivá pojistka zafunguje, jenže každou z nich musí nejdřív někdo vymyslet, postavit a nepřetržitě hlídat, protože systém se ji pokaždé pokusí obejít. Chytřejší systém objede starší pojistky a závod začíná znovu. Řešit se dá všechno, ale jedině další a další prací. Panika, že nám umělá inteligence sebere práci, je tím pádem trochu vedle — stejně jako výstupy nám vygeneruje i práci úplně novou.
Závěr
S chladnou hlavou je to skvělá práce a velký skok dopředu. Máme reálně fungující laboratoř, kde jedna umělá inteligence samostatně zkoumá a zlepšuje bezpečnost jiného modelu. Zároveň nám ukazuje budoucnost, která nečeká jen výzkumníky v bezpečnostních laboratořích, ale všechny. Stroj perfektně odbaví tu část práce, kde už máme vybudované procesy, měřítka a jasně daná pravidla. Tím ale okamžitě odkrývá horu nové práce kolem kontroly, efektivity a bezpečnosti — přesně to, co lidé dělají od chvíle, kdy jim v průmyslové revoluci vzaly stroje všechnu práci.
