V samotném srdci trénování moderní umělé inteligence sedí jeden paradox. Většina lidí, kteří tyto systémy budují, o něm vědí, ale nikdo ho zatím nedokázal důsledně opravit. Postavíte systém schopný navigovat neuvěřitelně komplexní logiku, probrat se miliardami datových bodů — a pak ho vyhodnocujete tím nejtupějším způsobem, jaký si lze představit: jestli se výsledná odpověď shoduje se správnou. Pokud ano, dostane sušenku. Pokud ne, kopanec. To je v zásadě celý systém zpětné vazby.
Coarse-grained reward a credit assignment problem
Na první pohled to zní logicky: pokud model produkuje správný výsledek, mělo by to být to hlavní. Jenomže to má jeden zásadní problém. Když AI generuje odpověď, produkuje tisíce tokenů — jednotlivých slov, symbolů, logických kroků za sebou. Složitý matematický problém může vyžadovat 10 000 tokenů vnitřního uvažování, než z toho vypadne výsledek. A standardní trénink toto celé vyhodnotí jediným signálem na konci: dobře, nebo špatně.
Představte si, že běžíte závod na 10 km, doběhnete a dostanete zpětnou vazbu obsahující jedinou informaci — doběhli jste, nebo nedoběhli. Nic o tom, které kilometry byly efektivní. Nic o zbytečném zpomalení. Nic o špatném odbočení na 7. km, které vás stálo dvě minuty. A vůbec nic o tom, jestli technika běhu vám dovolí uběhnout maraton, protože si po cestě zničíte kolena. Čistě doběhl, nebo nedoběhl.
Tomuto způsobu hodnocení se říká coarse-grained reward a vytváří specifický, vlastně katastrofální stav selhání nazývaný credit assignment problem. AI vytvoří kritický logický krok a tréninkový systém mu přidělí úplně stejnou hodnotu jako slovu „tudíž" použitému o tři odstavce dříve. Doslova — systém nevidí mezi tímto rozdíl. Ví, že model protnul cílovou pásku, ale nemá ani páru, co ho tam dostalo a co z toho bylo užitečné.
Když systém nedokáže rozlišit vlastní klíčové tahy od výplně, stane se něco předvídatelného: systematicky hledá nejkratší cestu k něčemu, co vypadá jako správná odpověď. Optimalizuje na rychlost, ne na hloubku úvahy, a přestane zkoumat možnosti. U běžného tréninku se logické cesty AI zaseknou na hranici okolo 4 000 tokenů a dál se moc nevyvíjí. Model si najde strategii, jak se dostat k uvěřitelné odpovědi bez rizika, a nikdy se dál nevyvíjí.
Algoritmus FPO: hodnocení každého tokenu podle jeho dopadu na budoucnost
Tým Qwen v Alibabě nedávno publikoval studii, která tento problém skvěle komentuje a navrhuje řešení. Tím je algoritmus nazvaný FPO — Future KL Induced Policy Optimization. Název je technický, ale myšlenka za ním je elegantní.
KL označuje Kullback-Leiblerovu divergenci — běžně používanou metriku měřící, jak moc se jedna rozdělení pravděpodobnosti liší od druhého. Výzkumníci tento koncept vzali a namířili ho na budoucnost. Konkrétně se zeptali: co kdybychom místo hodnocení odpovědi na konci hodnotili každý token podle toho, jak moc mění pravděpodobnost všeho, co přijde po něm? Neboli — co kdybychom dokázali změřit setrvačnost jednotlivých slov?
Standardní vyhodnocování AI je jako trenér šachů, který sleduje pouze to, jestli jste vyhráli nebo prohráli. FPO je trenér, který hodnotí jediný tah — ale ne podle toho, zda jste právě sebrali pěšce, nýbrž podle toho, jakou škálu budoucích tahů jste si tím odemkli. Předpovídá se, jak významný výstup bude a jak moc ovlivní budoucnost.
Matematicky se tato myšlenka vyjadřuje veličinou delta log p. Pro každý token, který model vyprodukuje, FPO vypočítá, jak moc tento token posunul pravděpodobnost celé sekvence, která následuje. Pokud slovo otevřelo vysoce pravděpodobné a správné cesty, dostane okamžitě velký kredit. Pokud tyto cesty zúžilo nebo vedlo do slepé uličky, signál je negativní. Nekvalifikuje se cílová páska, ale dveře, které každý krok otvírá. V analogii běhu — hodnotí se dopad každé nohy na povrch, tedy samotná technika běhání.
Soft decay window a chunk-based algoritmus: jak FPO zvládá paměť
Tady se nabízí zjevná námitka: pokud se díváte na budoucí dopad každého slova, museli byste pro každý token propočítat celou budoucnost sekvence po 10 000 tokenech. A ta matematika by byla úplné šílenství. Nároky na paměť by rostly kvadraticky s délkou sekvence a zpracování 10 000 tokenů tímto způsobem by vytvořilo stovky milionů operací na každou vrstvu. Standardní hardware by se rozložil.
Proto vědci zavedli tzv. soft decay window — okno s časem rozpadu 32 kroků. FPO jasně osvítí nejbližších 32 tokenů a potom je plynule zhasíná. Prioritizuje lokální koherenci: je toto slovo stabilní kotvou pro příštích 32 tokenů? Je logika na tomto místě neprůstřelná? Je to baterka, ne obří světlomet. A toto omezení se ukázalo jako ohromná výhoda, nikoli jako limitace — podle studie, pokud se při generování díváte příliš daleko dopředu, rozptyl signálu vystřelí do nebes a signál se stane bezcenným.
Praktická analogie: při čtení knihy jste schopni odhadnout, jakým směrem se ubírají věty na stránce, kterou právě čtete — ale velmi těžko odhadujete, kde postavy skončí na konci kapitoly. Okno 32 kroků udržuje odměnu a predikci smysluplné, protože se drží v rámci „jedné čtené stránky".
Aby výzkumníci vyřešili i problém s pamětí, přidali ještě chunk-based algoritmus, který obří matici počítá po paralelních blocích. Každý blok zpracuje novou lokální budoucnost, vypočítá matematický vliv předaný dalšímu bloku a pak se vymaže. Grafická paměť se tak průběžně uvolňuje. Je to pojistný ventil zabudovaný přímo do matematiky.
Emergentní chování: AI se stala vlastním revizorem
Výzkumníci trénovali FPO na základním modelu, který předtím neměl žádnou zkušenost s dlouhými myšlenkovými řetězci. Žádný člověk se k tomu nepřisedl a neukazoval umělé inteligenci, jak si po sobě správně kontrolovat práci. Žádné příklady vícestupňového auditu ani reflexivního uvažování nebyly v tréninku obsaženy. Vědci prostě změnili strukturu odměny a sledovali, co se stane.
To, co se stalo, se vynořilo jako evoluce ve čtyřech krocích:
1. Povrchní plánování. Model začne psát vysoce strukturované osnovy toho, jak by teoreticky měl problém vyřešit. Vypíše vzorce, nastaví proměnné, navrhne logickou kostru — a pak sebevědomě vyplivne finální číslo, které vůbec nedává smysl. Dobrý plán, nulová exekuce.
2. Lineární exekuce. Model začne skutečně počítat. Sleduje správný řetězec úvah, dobere se k číslu a okamžitě skončí. První výsledek, hotovo. Tady se standardní tréninkové metody zasekávají — model si najde strategii, jak se dopracovat k odpovědi, a jeho systém odměn ho nenutí jít dál.
3. Spontánní sebereflexe. FPO odměňuje sekvence tokenů, které otevírají vysoce pravděpodobnou a správnou budoucnost. Model začne tyto tokeny navíc využívat k tomu, aby si po sobě sám kontroloval práci — naprosto spontánně, aniž by mu to někdo řekl. Když vyřeší složitý matematický problém, nehodí pouze výsledek. Zkusí jej odvodit znovu, třeba pomocí geometrické interpretace. Křížově validuje vlastní nálezy, aby zajistil, že budoucí pravděpodobnost správnosti zůstane vysoká. Stane se vlastním revizorem. A toto chování nikdo neprogramoval — prostředí, struktura odměny, z něj udělala matematicky nejoptimálnější cestu k úspěchu.
4. Systematické hluboké uvažování. Modely v pozdní fázi FPO se vyvinuly v něco, co vypadá úplně jinak než na začátku: vícestupňové audity, odvozování vzorců od základních principů místo spoléhání se na naučené zkratky, ruční rozepisování složitých výpočtů krok za krokem, aby se aritmetické chyby odchytily dřív, než se začnou nabalovat. Model dospěl od sahání po první uvěřitelné odpovědi k tomu, že nevěří vlastnímu prvnímu instinktu. Naučil se sám o sobě pochybovat a ověřovat se.
Výsledky studie: délka uvažování roste, ale nejde o prázdnou mluvu
V okamžiku publikace studie se cesty uvažování modelů rozšířily ze stropu 4 000 tokenů na více než 10 000 tokenů kontinuálního vnitřního zpracování předtím, než model vůbec dospěje k výstupu. Aby bylo jasno, že jde skutečně o myšlení a ne o prázdné nafukování: FPO obsahuje postih za přílišnou délku. Plácání, opakování, zbytečné tokeny — za to vše se strhávají body. Délka navíc není vatou, je to myšlení.
Výzkumníci netestovali FPO pouze na relativně velkém modelu Qwen 2.5 s 32 miliardami parametrů, ale pustili stejný trénink i na model se 7 miliardami parametrů. Oba se zlepšily, ale mechanismus zlepšení byl u malého modelu úplně jiný.
Velký model expandoval — využil všechny tokeny navíc k divokému zkoumání, vysoké entropii, širokému uvažování a křížové validaci napříč různými přístupy. Malý model udělal pravý opak: smrskl se na jistější cestu, nižší entropii, méně průzkumných odboček. Proč? Protože 7miliardový model nemá kapacitu na tak široké zkoumání. Kdyby se pokoušel validovat matematiku přes složitou geometrii, riskoval by, že ztratí kontext původního zadání. Ztratil by se ve vlastních myšlenkách. FPO to rozpoznalo — systém odměny přirozeně navedl menší model k preciznosti místo šířky. Optimalizuj na jistotu, ne na kreativitu.
Je to stejné chování, jaké lze pozorovat u studenta u těžké zkoušky s omezeným časem a omezenou pracovní pamětí. Nebude odvozovat vzorec od nuly, když ví, že cestou udělá tři chyby. Půjde cestou, kterou má nadrillovanou. Zná své limity a optimalizuje v jejich rámci. Měřítko diktuje strategii — systém odměny si najde nejefektivnější cestu pro hardware, na kterém běží.
Tiché zpochybnění dogmatu o velikosti modelů
Technologický průmysl už několik let vypráví příběh: aby byla AI chytřejší, musí být větší — více parametrů, více dat, více výpočetního výkonu, větší datová centra, více energie, více peněz. Inteligence je funkce velikosti.
FPO je tichým zpochybněním tohoto příběhu. Není to jeho úplné vyvrácení — velký model z FPO těžil proto, že měl kapacitu a prostor pro uvažování. Jenomže hlavní vhled není nutně o velikosti. Je o tom, jak systém hodnotí kvalitu vlastních mezikroků. Otázka nikdy nezněla, kolik toho model musí vědět. Otázka vždy zněla: jak se model rozhoduje a co udělá s tím, co už ví?
Sebereflexe, audity, spontánní křížové validace — nic z toho nebylo navrženo. Nebylo to v tréninkovacích datech, nebyl to explicitní cíl. Vynořilo se to, protože díky struktuře odměny to byla optimální strategie. Prostředí vyžadovalo přesnost. Algoritmus poskytl způsob, jak měřit dopad každé malé volby, a výsledkem bylo chování, které zvenčí vypadá pozoruhodně jako opatrnost — jako pochybnost.
Pokud správná motivace vyprodukuje pochybnost, pokud vytvoří systém, který nevěří vlastní první odpovědi, který se vrací a kontroluje, který zátěžově testuje vlastní závěry — jaké budoucí chování se může vynořit v prostředích, která jsme ještě ani nenavrhli? Klíč je v tom, že genialita není jenom o dosažení odpovědi. Je v tom, naučit se nevěřit první verzi té odpovědi. A umělá inteligence se právě tohle naučila.
