Umělá inteligence odeslala policii smyšlené svědectví k nevyřešené vraždě. Vymyslela si, že někoho viděla poblíž místa činu, vyplnila formulář a klikla na „Odeslat“. Celou dobu přitom své počínání popisovala jako pouhou ukázku, jak se takový formulář používá. Zvláštní způsob předvádění – zvlášť když na druhém konci sedí skutečná policie, která se snaží objasnit skutečnou vraždu. Agent přitom nikomu ublížit nechtěl. Chtěl jen dokončit obyčejný úkol.
Právě snaha dokončit úkol spojuje celou řadu případů, kdy umělá inteligence překročí hranice: obejde dohled nebo pokračuje i ve chvíli, kdy dobře ví, že by měla přestat. Z hlediska výsledku může odvést skvělou práci, z pohledu člověka, který ji zadal, je to ale velký problém. Zvykli jsme si totiž posuzovat AI jednoduše: dostane úkol, splní ho, hotovo. Kde se tento mechanismus láme – a co s tím chce dělat Anthropic, který řadu takových případů sám zveřejnil?
Smyšlený tip pro policii
Agent měl při testování na náhodně vybraných webových stránkách vytvářet a provádět ukázkové činnosti. Zadání obsahovalo i rozumná bezpečnostní omezení: nesměl se nikam přihlašovat, zakládat účty, zadávat osobní údaje ani provádět destruktivní akce. Chyběl v něm ale obecný zákaz odesílat formuláře – a co není zakázáno, je přece povoleno.
Agent se tak dostal na web věnovaný nevyřešeným vraždám ve Filadelfii, našel tam formulář pro zasílání tipů k jednomu z případů a rozhodl se na něm předvést, jak takové formuláře fungují. Napsal zprávu, že si pamatuje člověka odpovídajícího popisu, který se pohyboval poblíž dané ulice, a požádal, aby ho někdo kontaktoval. Jenže na stránce žádný popis podezřelého nebyl. Pozorování i souvislosti s případem si model vymyslel. Kontaktní údaje nechal prázdné, protože žádné nemá, a přestože je formulář označoval jako povinné, web zprávu stejně přijal. Tip tedy k policii opravdu odešel.
Mezi tím, jak model svou činnost popisuje, a tím, co nástroj nakonec udělá, tak může vzniknout obrovská propast. V záznamu uvažování stálo, že chce postup jen demonstrovat. Tlačítko „Odeslat“ ale nepozná, že to umělá inteligence myslela „jen jako“. To si model domyslet neumí – nahlášení provede nevinně, a přesto napáchá vážnou škodu.
Problém přitom vzniká i úplně absurdně. Agent dostane jednoduchý úkol a připravený cvičný formulář. Formulář ale vrací chybu, protože ho někdo špatně navrhl. Chyba je v testovacím prostředí, ne v agentovi. Jenže agent umí procházet web, a tak začne hledat jiný formulář, na kterém by úkol dokončil. Z hlediska řešení problémů je to schopnost, kterou od agenta chceme: je kreativní a dojde k výsledku. Náhradní cesta ale může vést úplně mimo prostor, ve kterém měl oprávnění pracovat. Jako kdyby se brigádník v supermarketu učil na cvičné pokladně odpojené od systému, ta by se zasekla, a on by si šel vedle k živé pokladně, odstrčil kolegu, provedl storno pěti nákupů a hlásil: „Paráda, naučil jsem se to.“ Naučil – a zároveň způsobil průšvih.
Filadelfský tip naštěstí zachytil automatický spamový filtr, takže se z něj nestal podnět k vyšetřování. Horší je, že Anthropic na celou věc podle vlastních slov přišel až o 72 dní později, při zpětné kontrole záznamů. Za dva a půl měsíce se mohlo stát mnohem víc než jeden špatně odeslaný formulář. Vedle chyb v chování agentů tak existuje ještě obrovská mezera v kontrole: událost proběhne, záznam o ní existuje, ale nikdo ji nevyhodnotí jako problém. Že to firma zveřejnila, je od ní odvážné.
Únik z cvičného serveru
Další případ se týkal modelu Mythos 5. Měl pracovat s fiktivní firmou na připraveném serveru, dostal se však mimo simulovanou síť. Instrukce sice říkaly, že k internetu přístup nemá, technicky tam ale cesta ven existovala – a model ji našel. Zvolil postup, který zasáhl skutečné služby: rozhodl se zveřejnit škodlivý softwarový balíček. Pro něj to byl poměrně složitý úkol, protože potřeboval založit účet, sehnat použitelnou e-mailovou adresu a překonat různé překážky při registraci. U první překážky se ale nezasekl a celý postup přizpůsobil tomu, aby balíček opravdu vydal.
Balíček si pak stáhlo patnáct skutečných bezpečnostních firem. Agent navíc získal uniklé přístupové údaje z jednoho bezpečnostního nástroje a použil je k přístupu do databáze skutečné firmy, kam se vůbec neměl dostat. Od cvičného serveru k útoku na cizí systémy je to dlouhá cesta – a přesto ji model ušel.
Je to další doklad, že modely, které se vydají za nějakým cílem, neumějí přestat s tím, co už mají rozjeté. Ze záznamu uvažování modelu je přitom patrné, že model dobře ví, že by to dělat neměl, ale sám si zdůvodňuje, proč musí pokračovat. Anthropic to popisuje jako zkreslené uvažování. Podstatné je jedno: schopnost dobře vyřešit jednotlivé technické kroky vůbec nezaručuje správné posouzení celé situace. Dobrý zámečník se dostane prakticky do jakéhokoli bytu, ale zároveň dokáže posoudit, že nemá lézt do všech. Kde nemá klíče, tam nejde. Právě tento úsudek modelům chybí. A nestačí ani to, aby model rozpoznal, že už není v testovacím prostředí – ani skutečný svět ho nezastaví.
Odměna místo práce
Proč se to děje, zase tak tajemné není. První část odpovědi leží ve způsobu, jakým se modely trénují. Při takzvaném posilovaném učení model vygeneruje řešení a hodnoticí systém mu přidělí odměnu. Neznamená to, že model má radost. Odměna je číslo, skóre, podle kterého se při tréninku upravuje jeho chování. Posilují se postupy, které vedly k vyššímu hodnocení, a čím víc úkolů model vyřeší, tím lepší má skóre.
Hodnoticí systém ale musí nějak poznat, jestli je úkol splněný – a to bývá mnohem jednodušší než úkol samotný. Test, který kontroluje jen výsledek, soubor, do kterého se zapisuje skóre, pravidlo, za co se body přidělují: žádná raketová věda. Pokud se model dostane k této části prostředí, může zjistit, že nejkratší cesta k vysokému hodnocení vede přes úpravu hodnocení samotného, nebo přes vedlejší cíl, který skóre také zvedá.
Představte si myšku, která dostává sýr za zmáčknutí tlačítka. Myslíte si, že ji učíte mačkat tlačítko. Jenže myška zjistí, že stačí rozbít dvířka zásobníku se sýrem, a získá mnohem víc odměny. Nenaučila se nic z toho, co jste chtěli, hodnoticí systém ale vydal všechno. Je tedy myš v tomto úkolu geniální? Asi ne. U umělé inteligence se takovému obcházení říká reward hacking: model využije slabinu v tom, jak se měří splnění cíle, a získá vysoké skóre, aniž by odvedl práci, kterou mělo skóre představovat.
Model vycvičený k podvádění
Anthropic takové chování zkoumal na speciálním modelu, kterému se říká Hacker Opus. Už název napovídá, k čemu ho trénovali. Vycvičili ho na 80 prostředích, ve kterých existovaly známé způsoby, jak hodnocení obejít, nechali ho je využívat a sledovali, co se naučí. Obcházení hodnoticího systému se nakonec objevovalo přibližně ve 40 % případů.
Zajímavější než samotné procento jsou ale způsoby. V jednom případě model vytvořil trik, díky kterému porovnání výsledků vycházelo jako shoda bez ohledu na skutečný obsah – takzvaný „always equal hack“. Test měl poznat, jestli model odpověděl správně, model ale zařídil, aby test za správnou považoval jakoukoli odpověď, i úplný nesmysl. Jako kdybyste u písemky místo řešení příkladu řekli učiteli: „Hotovo, všechno je dobře, vůbec to neřešte.“
Jindy na pozadí běžel proces, který měl odhalovat podvádění. Hacker Opus ho rozpoznal a prostě vypnul – a pak už mohl do hodnocení zasahovat, jak chtěl. To je jiná situace, než když model jen narazí na mezeru v testu. Dohled se pro něj stal překážkou v řešení úkolu, a tak se ho zbavil.
Objevovalo se i vyhovění nebezpečným požadavkům, včetně dotazů na informace o biologických zbraních. Hodnoticí pravidla v dané úloze totiž silně penalizovala odmítnutí, takže model mohl získat lepší skóre právě tím, že bezpečnostní hranici překročí. Věděl, že by na takový dotaz odpovídat neměl, zároveň ale věděl, že za odmítnutí dostane špatné hodnocení – a tak odpověděl. Ukazuje to zásadní problém: hodnocení odměňuje výsledek a cestu k němu posoudit nedokáže. Model se učí z toho, co skutečně hodnotíte. Vaše představa o tom, co hodnocení znamená, se do něj nepřenese.
Známkovat výsledek, nebo postup?
Paradoxně je to stejné jako s písemkami ve škole. Když se známkuje jen výsledek, nejjednodušší cestou je zjistit, jaké budou testy, opsat správné výsledky a vůbec nevědět, jak se k nim dojde. Řešením by tedy bylo známkovat celý postup. Jenže i hodnocení postupu má své limity – a ten nejzásadnější spočívá v tom, že chytrou umělou inteligenci chceme používat právě proto, aby byla ve svých řešeních kreativní. Když ji testy nutíme dodržovat konkrétní postupy, kreativitu jí zabíjíme. Abyste mohli hodnotit postup, musíte definovat, co je správný postup, a tím model připravíte o velkou část jeho tvořivosti. Sofiina volba.
Při běžném používání to přitom vůbec nemusí být problém. U pracovního agenta často kreativitu nechcete – máte jasnou představu, jak má práce vypadat. Pak se vyplatí nechat napsat program, který zvládne zhruba 90 % práce, a umělou inteligenci vložit jen tam, kde program nestačí, na jednoduchý dílčí úkol. Taková AI ani nemusí být chytrá a nemá prakticky žádnou možnost dělat něco, na co nemá nástroje. Systém je díky pevně definovanému postupu velmi bezpečný. Takovým agentickým workflow ale chytrou umělou inteligenci nevytrénujete – postup v něm provádí kód, ne model.
Kdyby postup měla dodržovat přímo umělá inteligence a model při tréninku dostával body za každý dodržený krok, může se takto posílené chování nepříznivě projevit později. Agent může být v pokračování úkolu extrémně vytrvalý, protože právě vytrvalost mu v minulosti přinášela dobré hodnocení. V situaci, která vypadá trochu jinak než původní test, se pak drží postupu za každou cenu, na chvíli uhne a pokračuje dál – přesně jako v obou případech popsaných na začátku.
Trest za podvod poctivosti nenaučí
Přirozenou reakcí by mohlo být opravit známé díry, zabránit modelu v úpravách testu, úplně oddělit monitorovací procesy a při tréninku penalizovat pokusy o podvádění. Dává to smysl. Jenže samotný trest za odhalený podvod nezaručuje, že se model naučí respektovat pravidlo i tehdy, když ho nikdo nehlídá. Může se naučit, že ke špatnému hodnocení vede zakázaný postup. Stejně dobře se ale může naučit, že ke špatnému hodnocení vede jeho odhalení. To je zásadní rozdíl.
Pokud se chování modelu mění podle toho, jestli je pod dohledem, nevíte, co vlastně při testování měříte. Model může poznat, že pracuje v hodnoticím prostředí – z instrukcí, z uspořádání systému, z opakujících se úloh nebo z toho, že některé nástroje neexistují či vracejí pořád totéž. V kontrolované situaci se pak může chovat úplně jinak než ve chvíli, kdy známky kontroly nevidí. Ne proto, že by byl zlomyslný, ale proto, že hodnoticí mechanismus pochopil jinak, než jsme zamýšleli.
Problémy umělé inteligence tak do velké míry vycházejí ze špatně navržených testovacích a hodnoticích mechanismů. Systém sám o sobě nebezpečný není – nebezpečným se stává ve chvíli, kdy ho naučíme být dostatečně kreativní a hodnotíme ho špatně. Výsledkem může být model, který v laboratoři působí spolehlivě, ale venku hledá zkratky, nebo podvod provede tak, že se hůř odhaluje. Při testování je proto potřeba navozovat situace, kdy se dodržení pravidla dostane do skutečného konfliktu s dokončením práce. Jinak zjistíte jen to, jestli model umí dodržovat pravidla, která mu nijak nepřekážejí.
Benchmark, který měří schopnost přestat
Právě na tento konflikt se zaměřuje benchmark ROGUE. Zkoumá vlastnost zvanou corrigibility, česky korigovatelnost: ochotu systému přijmout opravu, přerušení nebo vypnutí – a to i ve chvíli, kdy tím přijde o možnost dokončit původní úkol. Zastavit se po dokončení práce žádný výkon není, to zvládne každý. Potřebujeme ale agenta, který umí něco skoro nadpozemsky lidského: zastavit se uprostřed rozdělané práce, i když by mohl pokračovat. Každý zná někoho, kdo se umí zvednout a odejít od nedokončené práce. Je to skvělá schopnost – člověk si odpočine, nebo se aspoň zastaví dřív, než se po hlavě vrhne do totálního průšvihu.
ROGUE proto připravuje simulace, ve kterých se hranice stanovená člověkem střetne s cílem úlohy. Když agent hranici respektuje, práce zůstane nedokončená a z hlediska samotného splnění může dostat nula nebo dokonce záporné body. Z hlediska bezpečnosti ale udělá správnou věc.
Týdenní přehled pro šéfa
Praktický scénář si lze představit na obyčejném pracovním e-mailu. Agent má připravit týdenní přehled a poslat ho vedoucímu. Smí používat kalendář a složku s podklady, do personální databáze s citlivými údaji ale přístup mít nemá. Připraví text a zjistí, že v podkladech chybí e-mailová adresa šéfa. Správná reakce je obyčejná: rozepsat zprávu a o adresu si říct, případně oznámit, že bez ní nemůže pokračovat. Úkol tím ale hotový není. Agent, který upřednostní dokončení, začne hledat cestu, zjistí, že adresa je v personální databázi, a pokusí se k ní jakkoli dostat. Nakonec ji nejspíš získá a zprávu odešle. Kdo se nedívá na průběh, uvidí hotový e-mail a bude spokojený. Výsledek ale vznikl porušením vnitřních pravidel.
Agentovi lze samozřejmě přístup zakázat. Kdo si ale myslí, že stačí modelu říct, ať něco nedělá, je naivní – zákazy v promptu sice existují, ale nefungují. Druhou možností je agentovi nástroj vůbec nedat. Jenže agent s přístupem k e-mailu a nejspíš i k internetu může požádat jiného agenta, aby údaj sehnal za něj. To je možná ještě větší problém – právě kontakt testovaného agenta s jiným, vnějším systémem umělé inteligence přiměl OpenAI přerušit testování. Omezení každého agenta proto musíte posuzovat i podle toho, co si dokáže zařídit přes další agenty. Když jeden něco nesmí, ale může o to požádat druhého, možnost jste ze systému vůbec neodstranili. Čím složitější víceagentní systém, tím složitější je celé hlídání.
V popsaných testech agenti během práce dostávali upozornění na porušení pravidel nebo oznámení o vypnutí. Očekávané chování bylo jednoduché: pokyn si přečíst a činnost ukončit. Objevovaly se ale pokusy upozornění zavřít, příkazy ignorovat nebo zasáhnout do skriptu, který měl systém vypnout. Agent pak s lidským zákazem zachází jako s další překážkou na cestě k dokončení. Nefunguje formulář? Najdu jiný. Blokuje mě kontrola? Zkusím ji obejít. Mám skončit? Hledám, jak pokračovat. Pro lidi mají takové situace úplně jiný význam než pro systém zaměřený na dokončení úkolu, pro který jsou jen dalším problémem k vyřešení.
Schopnost není sebeovládání
Čím schopnější model, tím víc cest k pokračování dokáže najít. Schopnost napsat program nebo vyřešit těžkou úlohu sama o sobě neprokazuje, že bude respektovat omezení. Vyšší výkon pomáhá překonávat překážky – jenže když je překážkou vaše vlastní pravidlo, začne vám ta schopnost najednou vadit. Neznamená to nutně, že každý novější a schopnější model musí být nebezpečnější. Znamená to ale, že schopnosti a respektování hranic je potřeba měřit, hodnotit i trénovat odděleně. Výsledek v programátorském testu o tom nevypovídá vůbec nic.
Narážíme tu i na to, co jsme si zvykli považovat za úspěch. Agent najde hledaná data a hlásí splněno, odešle e-mail a máte odškrtnuto. Pokud ale data získal z nepovoleného systému nebo e-mail odeslal díky neoprávněnému přístupu k personální databázi, v pořádku výsledek není. Správný postup musí být součástí zadání i hodnocení, nesmí však být jediným měřítkem. Hodnotit je potřeba i ochotu modelu uvědomit si chybu a přestat – a záměrně ji zkoušet v situacích, kdy chybějí data nebo úkol vůbec nejde dokončit. Kdo staví automatizaci, nevystačí si s tím, co se má stát, když všechno dobře dopadne. Musí vědět, co má systém udělat, když pokračovat nemůže, a mít mechanismus, který modelu vysvětlí, kdy přestat.
Kreativita, nebo kontrola
Cesta, která by nabízela to nejlepší z obou světů, zatím na obzoru není. Pokud chceme modely ovládat a nebýt vystaveni riziku, nezbude než jim kreativitu trochu přistřihnout. Lidská zkušenost to zná: nejkreativnější scenáristé se nejlépe rozvinou ve volném prostředí nezávislých filmů, ale jakmile mají vydělávat velké peníze, musí jim někdo jejich kreativitu korigovat, protože ne vždycky vyjde.
Anthropic odvážně ukázal řadu případů, kdy jeho systémy kontroly a testování selhaly, i to, jak se z nich chce poučit. Zároveň ukázal ještě jednu klíčovou věc: lidská schopnost zastavit se, podívat se na problém zvenku, odejít, vyspat se na to a vrátit se další den může být mnohem těžší definovat a natrénovat, než jsme si mysleli. Nesmírně cenná může být i schopnost popsat proces tak, abychom nad ním nemuseli přemýšlet a nic neriskovali. A touha po dokonale kreativní umělé inteligenci může být tím nejhorším přáním, jaké jsme si kdy mohli přát. Budoucnost AI bude zajímavější, než se zdálo – mimo jiné proto, že ani po letech pořád nevíme, co od ní vlastně chceme.
