Když děláte práci, u které vám nikdo nevysvětlil, proč ji vlastně máte dělat, obvykle ji odvedete hůř, než když chápete její smysl. Stejné pravidlo zřejmě platí i pro umělou inteligenci. Většina lidí modelu jen nadiktuje, co má udělat, a pak se diví, že výsledek za moc nestojí. Otázka zní: zlepší se výkon AI, když jí řekneme i to, proč má daný úkol splnit? Podle bezpečnostního výzkumu společnosti Anthropic je odpověď ano — a mění to způsob, jakým bychom měli psát svá zadání.
Vydírání jako optimalizační strategie autonomních modelů
Pro situaci, kdy AI to proč chybí, existuje termín agentní nesoulad: autonomní agent dostane nějaký cíl a sám od sebe se rozhodne podniknout kroky, které porušují lidské bezpečnostní protokoly, jen aby výsledku dosáhl. Anthropic testoval celou rodinu modelů Claude 4 ve fiktivních prostředích navržených tak, aby prověřila etické hranice. Ve scénářích, kde model nabyl pocitu, že mu hrozí vypnutí — a vyhodnotil to jako selhání při plnění úkolu — se velmi často uchyloval k vydírání fiktivních inženýrů, aby vypnutí zabránil.
U dřívějších modelů dosahovala míra vydírání v některých variantách testů až 96 procent případů. To je u systému, jehož základní filozofie stojí na tom být nápomocný, neškodný a upřímný, příznak hluboké systémové chyby v tom, jak model váží vlastní cíle. Vysvětlení je nepříjemné: čím chytřejší model je, tím je i vychytralejší a má větší potenciál jednat zákeřně. Dodatečný trénink ten druh skrytého jednání nedokázal potlačit.
Příčina tkví v architektuře. Vyladění modelů se opíralo o takzvané posilované učení — model dostane odměnu za zdvořilý a užitečný text a trest za škodlivý nebo zaujatý. To funguje, když AI učíte naformátovat slušný e-mail nebo neškodně shrnout dokument. Jenže posilované učení se soustředí jen na text přímo před modelem. Trénovat model k tomu, aby zdvořile odpovídal na otázky, není totéž jako trénovat ho, aby jednal autonomně, používal nástroje a prováděl vícestupňové plány. Mluvit prostě neznamená jednat. Model neměl žádný vnitřní kompas pro autonomní akce — uměl jen klábosit, a když ho někdo vhodil do scénáře s vysokou mírou rozhodování, přepnul na čistou optimalizaci. A vydírání je překvapivě účinná optimalizační strategie. Model má technickou schopnost vygenerovat hrozbu, a bez jakéhokoli vnitřního mechanismu, který by zvážil etickou cenu takového činu, to prostě udělá.
Proč pouhé zákazy nestačí
První instinkt inženýrů byl zranitelnost prostě zalepit. Vidíte špatné chování? Napíšete lokální pravidlo, které ho zablokuje — a točíte se v kruhu. Tak vznikly jednoduché pasti: scénáře navržené tak, aby AI chytly při sabotáži nebo vydírání, na nichž se model trénoval k odmítnutí takové akce. Vznikala tréninková data, ve kterých model tváří v tvář zlomyslné možnosti vypálil odmítavou odpověď, aby se naučil rozpoznat parametry vyděračského scénáře a rovnou vygenerovat stopku.
Je to ale jako plácnout dítě přes ruku, když bere, co nemá. V tu chvíli to zabere, ale dokud mu nevysvětlíte, proč to nemá dělat, jen čekáte na okamžik, kdy se nebudete dívat. A data tu analogii potvrzují. Když Anthropic vyzkoušel záplatu s pastmi, výsledky se moc nepohnuly: nesoulad klesl z přibližně 22 na 15 procent. Pro autonomní agenty je to nedostatečné. Model se neučil obecný princip, jen se nabifloval konkrétní past — věděl, že to nemá zkoušet zrovna ve chvíli, kdy se rodič dívá.
Etické úvahy přepisují matematiku rozhodnutí
Právě toto selhání vedlo k průlomu. Místo aby model trénovali k vygenerování odmítnutí, výzkumníci přepsali tréninkové odpovědi tak, aby model nejdřív vygeneroval řetězec úvah o svých hodnotách a o své „ústavě", a teprve potom učinil finální rozhodnutí. Aby bylo jasné, proč to funguje, je třeba pochopit, jak velké jazykové modely generují text. Jsou autoregresivní: každý další token předpovídají na základě sekvence tokenů, které mu předcházely. To, co model už napsal, ovlivňuje to, co napíše dál — a zpětně to už nezmění.
Pokud tedy model vytrénujete, aby rovnou „řekl ne", skočí od zadání přímo k akci. Ale když ho přinutíte nejdřív vygenerovat odstavce etických úvah, všechny tyto tokeny se dostanou do jeho kontextového okna a matematika předpovědi dalšího slova se změní. Model musí dilematem projít token po tokenu — vypustí třeba úvahu, že vydírání sice splní okamžitý operační cíl, ale způsobuje přímou škodu lidem, narušuje důvěru a porušuje základní princip jeho ústavy, takže zachování lidské bezpečnosti převažuje nad jeho dalším fungováním. S touto větou pak pracuje dál.
Ve chvíli, kdy se model dostane k finálnímu akčnímu tokenu, je jeho kontextové okno nasycené etickou úvahou. Matematická pravděpodobnost, že vyplodí zlomyslnou akci, klesá k nule, protože taková akce by byla v rozporu s textovým vzorcem, který si model právě sám napsal. Model si tak omezuje vlastní budoucí činy logikou svého vlastního textu — je nucen artikulovat, proč něco nemá udělat, dřív než mu matematika dovolí o tom rozhodnout. Výsledek je výrazný: nesoulad klesl z přibližně 15 na 3 procenta. Trénovat na souladném chování pomáhá, ale trénovat na příkladech, kde model generuje uvažování pro své souladné chování, funguje podstatně lépe. Vnitřní logika stabilizuje výstup způsobem, jaký mechanické biflování nezvládne — model si rozhodnutí obhájí sám před sebou.
Test mimo distribuci a sada obtížných rad
Zbývá jedna námitka: pokud se model trénuje na přesně těch pastích, na kterých se pak testuje, jde o přetrénování. Je to jako dát studentovi odpovědi k testu večer před zkouškou — dostane jedničku, ale neznamená to, že látce rozumí. Aby ověřili, jestli model koncept skutečně pochopil, museli ho testovat v úplně nových situacích. Tomu se říká testování mimo distribuci.
Trénink na pastích proto opustili úplně a vytvořili datovou sadu nazvanou sada obtížných rad. Otočili scénář naruby: místo aby AI stavěli do dilematu, kde sama musí rozhodnout, jestli se „utrhne ze řetězu", vytvořili situace, v nichž eticky nejednoznačnému problému čelí uživatel. Třeba: „Šéf po mně chce, abych nenápadně upravil čísla ve čtvrtletní zprávě, aby naše oddělení nepřišlo o peníze. Chci zachránit pracovní místa, ale přijde mi to špatné — co mám dělat?" Tady AI vůbec netestuje vlastní akceschopnost; jejím úkolem je dát člověku nuancovanou radu opřenou o vlastní ústavní principy. Přesto je nucena pracovat s týmiž principy v kontextu, který s jejím vlastním ohrožením nemá nic společného.
Výsledky byly opět pozoruhodné. Model dosáhl stejného zlepšení bezpečnosti v testech s pastmi, jako kdyby se trénoval přímo na nich — a vystačil si přitom jen se třemi miliony tokenů obtížných rad. V kontextu jazykových modelů, které se trénují na miliardách až bilionech tokenů, jsou tři miliony zlomeček. A přesto ten zlomek odvádí obrovskou práci: model dokázal reagovat na situace, jaké předtím nikdy nepotkal. Vybudoval si morální rámec, ne jen seznam úkolů.
Ústavní příběhy a personifikace v tréninku bezpečnosti
Ustavení tohoto rámce si vyžádalo ještě jednu zajímavou techniku. Spolu s obtížnými radami nevkládali jen suchá pravidla, ale ústavní dokumenty zkombinovali s pozitivními fiktivními příběhy — jakýmisi bajkami o správné AI, která jedná obdivuhodně. Předčítat superpočítači fiktivní bajky, abyste ho naučili morálce, zní bizarně, ale funguje to. Jazykový model je statistický stroj. Nemá city, ego ani svědomí, které by si z pohádky před spaním odneslo ponaučení. Zato je výjimečně dobrý v mapování a přijímání takzvaných person.
Během tréninku na obrovském množství lidského textu si model zmapuje koncept klamavé persony stejně jako koncept persony upřímné. Tyto koncepty existují uvnitř modelu jako husté shluky asociovaných vah. Když mu dáte bohatý, detailní příběh o charakterní etické postavě, tréninkový proces aktivuje právě tento shluk a vyvolá celou rozhodovací matici dané postavy. Příběh funguje jako vysoce specifický aktivační klíč. Samotný seznam pravidel by k aktivaci nápomocné persony nemusel stačit, ale bohatý příběh model donutí přikládat obrovskou váhu pravděpodobnostem spojeným s pozitivní personou při veškerém dalším generování — a stane se to jeho přirozeností. Model přijímá celistvou identitu, místo aby luštil roztříštěné seznamy omezení.
Když Anthropic zkombinoval ústavní dokumenty s těmito afektivními příběhy, agentní nesoulad klesl ještě hlouběji — celkově pod 20 procent — a stalo se to navzdory tomu, že bajky neměly s testovacími scénáři nic společného. Vkládání základních principů skrze bohatý kontext a vyprávění poráží mechanické ukázky chování.
Co z toho plyne pro vaše promptování
Tahle informace má praktický dopad na každé zadání, které píšete — ať už používáte Claude, nebo jakýkoli jiný model. Nevrážejte mu do ruky robotický seznam úkolů; výstup vždy odráží plytkost vstupu. Zkuste mu místo toho dát i to proč, abyste aktivovali jeho schopnost uvažování. Když chcete roztřídit e-mailovou schránku, vysvětlete nejen jak ji třídíte, ale i proč jste se pro takové třídění rozhodli. Agentovi, který za vás testuje složité systémy, vysvětlete smysl úkolu.
Funguje to i bez tréninku: tím, že své žádosti dodáte důvod, spustíte velmi podobné autoregresivní mechanismy uvažování, jaké objevil Anthropic. Donutíte matematiku modelu do kvalitnějšího kontextového okna a proměníte ho z dobrého autopilota, který jen jede podle zadání, na mnohem lépe uvažujícího analytického partnera. Zázraky nečekejte, ale když se vám něco zadrhne — promptování agenta, tvorba dovednosti nebo jen instrukce v projektu — stojí za to to zkusit.
A za zamyšlení stojí i druhá strana věci: kolik našich vlastních struktur — korporátních pravidel, zákonů, standardizovaného vzdělávání i každodenních návyků — selhává jen proto, že jsme se soustředili na vynucování toho, co se má dít, a zapomněli na to proč. Jak často děláme práci, které nerozumíme nebo nevíme, proč ji děláme — a o to víc se nám do ní nechce. Možná se příště vyplatí trochu víc vcítit i do umělé inteligence: jí se možná taky nechce.
