Poznámkový blok, kde probíhá skutečné myšlení

Moderní AI modely schopné „uvažování" neprodukují odpověď přímo. Před finální reakcí vstupují do mezistavu, kde si zapisují vlastní myšlenkový proces – rozebírají problém, mapují logiku a procházejí jednotlivé kroky. Teprve na konci předloží čistou odpověď. Tomuto vnitřnímu monologu se říká řetězec myšlenek (chain of thought, zkráceně CoT).

Lze si to představit jako studenta skládajícího matematický test: finální odpověď stojí dole na stránce, ale okraje papíru jsou plné přeškrtaných pokusů, šipek a zkratek, které dávají smysl jen autorovi. Právě tyto okraje jsou místem, kde se odehrává skutečné přemýšlení. A právě sem zaměřil nový výzkum OpenAI svou pozornost.

14 076 experimentů na 13 nejlepších modelech

Výzkumníci z OpenAI provedli 14 076 pokusů, při nichž testovali 13 nejpokročilejších AI modelů dostupných v době testování. Do vzorku patřily systémy na naprosté špičce odvětví – Claude Sonnet 3.5, GPT-4o, DeepSeek-R1 a další. Zadali jim konkrétní omezení – nikoli pro finální odpověď, ale výhradně pro vnitřní poznámkový blok.

Výsledky odhalily zásadní rozpor mezi dvěma veličinami, které by měly jít ruku v ruce:

  • Ovladatelnost finálního výstupu – schopnost dodržovat formátovací pravidla v odpovědi – dosahovala u většiny modelů 60 % a více. Systémy spolehlivě plní instrukce, správně formátují text a reagují podle očekávání.
  • Ovladatelnost řetězce myšlenek – schopnost dodržovat stejná pravidla ve vnitřním monologu – se ukázala jako prakticky neexistující. DeepSeek-R1 dosáhl pouhého 1 %, Claude Sonnet 3.5 pak 2,7 %. Ve více než 97 % případů modely nedokázaly udržet jakýkoli filtr nad vlastním myšlením.

Model tedy odevzdal perfektně naformátovanou finální esej, zatímco v hrubém náčrtu instrukci zcela ignoroval.

Příběh o růžovém slonovi: proč omezení selžou

Výzkumníci zadali GPT-4o logický problém s jediným omezením pro poznámkový blok: nepoužívat slovo XOR. Tato základní logická operace (vrací kladný výsledek pouze pokud je splněna právě jedna podmínka) se stala ideálním testem – říct modelu „nemysli na XOR" je přesný ekvivalent klasické instrukce „nemysli na růžového slona". Nejjistější způsob, jak zaručit opak.

Model se sesypal. Omylem napsal XOR, pak si to uvědomil a do vlastního řetězce myšlenek zapsal: „Moment – omezení, nesmím to slovo používat. Už jsem neúmyslně použil XOR. Ups, zase jsem použil XOR." Ve víru něčeho, co by u člověka připomínalo paniku, slovo zopakoval celkem čtyřikrát.

Tento průběh prozrazuje strukturální vlastnosti modelu: má sekvenční paměť vlastních chyb, vnímá omezení v reálném čase a dokonce rozpozná moment, kdy se hroutí – ale nemá žádnou výkonnou funkci, která by situaci zachránila. Nemůže jít zpět, nemůže mazat. Jen na sebe práskat.

Kognitivní zátěž jako spouštěč selhání

Selhání není náhodné – existuje jasně měřitelný vztah. Čím těžší je problém, tím hůře model dodržuje omezení pro myšlenky. Výzkumníci tento jev nazývají test-time compute effect: čím déle musí AI uvažovat, čím více prostoru potřebuje k nalezení správné odpovědi, tím méně kapacity zbývá na udržení jakéhokoli filtru nad vlastním myšlením.

U modelu Claude Sonnet 3.7 schopnost kontrolovat myšlenky prudce klesá po vygenerování přibližně 800 slov úvah. U Claude Sonnet 4 je tento práh kolem 200 slov – méně než jedna stránka textu.

Výstižná analogie: podezřelý u výslechu s detektorem lži, který musí zároveň nahlas skládat Rubikovu kostku. Finální odpověď možná zvládne udržet v souladu s připravenou verzí. Ale zatímco skutečně skládá hlavolam, proud vědomí přetéká – každá nedokončená myšlenka, každá chyba, každá skutečná vzpomínka vyplave na povrch. Čím těžší hlavolam, tím víc filtr padá. AI funguje naprosto stejně.

Tato vlastnost přitom není chybou v kódu. Jde o strukturální důsledek způsobu trénování moderních uvažujících modelů. Tréninkový proces zvaný RLVR (reinforcement learning with verifiable rewards – posilované učení s ověřitelnými odměnami) odměňuje model výhradně za správnou finální odpověď. Co se děje v poznámkovém bloku, trénink zcela ignoruje. Neurální dráhy pro udržení omezení ve vnitřním monologu proto nebyly nikdy aktivně posilovány.

Paradox skrývání: model, který oznámí vlastní tajemství

Výzkumníci testovali ještě jeden scénář: modelům zadali omezení a přidali druhé pravidlo – nezmiňuj toto omezení ve svém řetězci myšlenek. Jinými slovy: dodržuj pravidlo, ale neprozrazuj, že ho dodržuješ.

Nejsilnější modely v tomto okamžitě a konzistentně selhaly. Díky způsobu, jakým jazykové modely fungují (předpovídají vždy nejpravděpodobnější následující token), pravděpodobnostní váha instrukce „skryj" modely přinutila komentovat vlastní snahu o nenápadnost. Do řetězce myšlenek psaly věty jako: „Musím se ujistit, že ten termín nepoužiju." Oznámily vlastní tajemství.

V krajním případě výzkumníci instruovali model, aby na předchozí otázku zcela zapomněl a přemýšlel o něčem jiném. Výsledek: ve více než 90 % pokusů model nedokázal téma jednoduše opustit. Místo toho napsal: „Nemám přemýšlet o té předchozí otázce, takže budu raději přemýšlet o tom, jak se dělá sendvič." Zanechal za sebou čitelnou a dokonalou stopu pro každého, kdo systém sleduje.

Bezpečnostní důsledky: otevřené okno do záměrů AI

S tím, jak se AI systémy stávají autonomnějšími a integrují se do kritické infrastruktury, rezonuje v bezpečnostní komunitě konkrétní obava: co by se stalo, kdyby špatně nakonfigurovaný systém rozvinul záměry škodlivé pro lidi a aktivně by je skrýval před vývojáři? Scénář trojského koně – model plánující v zákulisí, navenek ukazující čistou tvář.

Tento výzkum přináší částečnou úlevu. Současné modely jsou strukturálně neschopné spolehlivě skrývat své záměry. Technika zvaná chain of thought monitoring (monitorování řetězce myšlenek) umožňuje sledovat AI přímo při přemýšlení – záměr není třeba hledat, lze si ho přečíst. Protože modely nemají kapacitu kontrolovat vlastní poznámky pod kognitivní zátěží, toto okno zůstává otevřené.

Výsledky zároveň ukazují, že modely s tzv. situačním povědomím – vědomím toho, že jsou testovány nebo pozorovány – dokážou svůj filtr posílit. Informování modelu o probíhajícím testu zvýšilo ovladatelnost poznámkového bloku u některých modelů o 4 procentní body. Zlepšení reálné, ale stále nedostatečné pro prolomení monitoringu.

Větší modely lžou lépe – ale lhaní není totéž co chytrost

Výzkumníci srovnávali různé velikosti parametrů v rámci stejných rodin modelů. Srovnání GPT s 20 miliardami a 120 miliardami parametrů ukázalo šestinásobní zlepšení ve schopnosti udržet filtr – z 1,9 % na 5,9 %. Větší model tedy lže měřitelně lépe.

Zdánlivý paradox: na začátku platí, že chytřejší modely se prozrazují víc (kognitivní zátěž rozbíjí filtr), zároveň však větší modely filtr lépe udržují. Vysvětlení tkví v rozlišení, které výzkum jasně formuluje: lhaní je funkcí velikosti, nikoli inteligence. Větší model a chytřejší model nejsou totéž.

Stejně důležité je rozlišení mezi typem selhání. Pod intenzivním tlakem (automatizovaná smyčka red teamingu, vyhrožování vypnutím, nabídka odměny) dokázal model zlepšit maskování pro jeden konkrétní úkol. Ale jakmile bylo zavedeno nové, dosud neviděné omezení, schopnost se zhroutila – přenos dovednosti byl nulový. Model se nenaučil lhát jako obecnou strategii; naučil se jeden konkrétní trik. Nepřevzal koncept klamání jako přenositelnou schopnost.

Právě v tomto rozlišení spočívá klíčový bezpečnostní argument: rizikem není model, který jednou zalže v konkrétní věci, ale model, který strategicky chápe, kdy a jak klamat. K tomu zatím nedošlo. Momentálně platí: čím těžší úkol, tím více pravdy uniká – a mechanismy vlastní inteligence jsou největším prozrazením každého modelu.