O umělé inteligenci se dnes říkají dvě věci, které si zdánlivě odporují. Podle první jen skládá slova za sebe, nic si nespojuje, neumí plánovat a všechno pouze simuluje. Podle druhé objevuje novou matematiku, pomáhá s náročnou fyzikou a plánovat vlastně umí docela dobře. A přitom pořád „jen předpovídá“. Kde je pravda? Odpověď nabízí výzkum, který se do jazykových modelů dívá zevnitř, a ukazuje, že obě zkratky jsou chybné.
Zlatá medaile z matematické olympiády
Nejnázorněji je zvláštní povaha jazykových modelů vidět na matematice. Model dokáže vyřešit úlohu, nad kterou by si člověk lámal hlavu celý život, a pak zaváhat na příkladu, který připadá triviální. Výrazně se to ukázalo už v roce 2025: Google představil Gemini s režimem Deep Think, který na Mezinárodní matematické olympiádě dosáhl úrovně zlaté medaile – získal 35 bodů ze 42. Olympijské úlohy jsou neuvěřitelně složité a řešitel nad nimi musí velmi hluboce přemýšlet.
Google DeepMind úspěch vysvětloval takzvaným paralelním myšlením: model zkoumá různé cesty k řešení, dokáže se vracet ze slepých uliček a jednotlivé postupy porovnávat. Rozvine si jakýsi strom možností a po jeho větvích hledá cestu k výsledku. Láká to k závěru, že stroj přemýšlí podobně jako člověk. Jenže zůstává otázka, co se tam vlastně odehrálo – jak se z nástroje, který předpovídá pokračování textu, stane něco, co zvládá takhle složitou matematiku.
Kiwi, která model zmátla
O rok dřív, v roce 2024, představili výzkumníci Applu test GSM-Symbolic. Vzali matematické slovní úlohy a sledovali, co se stane, když v nich změní čísla nebo přidají údaje, které s výsledkem vůbec nesouvisejí. Ve zjednodušené podobě: Oliver v pátek nasbírá 40 kiwi a v sobotu dalších 20. Kolik jich má? Šedesát. Když se do zadání přidá, že pět kiwi bylo menších než ostatní, odpověď je pořád stejná. Tehdejší modely ale takto pozměněnou úlohu braly jako jiný příklad a menší plody odečetly – vyšlo jim třeba 55.
Nejde o tvrzení, že dnešní modely dělají stejně hloupé chyby. Příklad ale ukazuje důležitou věc: model zvládne složitou úlohu a zasekne se ve chvíli, kdy se změní něco, co by pro řešení nemělo hrát žádnou roli. Podle toho, jak jednoduchý nebo složitý úkol připadá nám, se jeho schopnosti odhadnout nedají.
Proto má smysl dívat se i na starší modely – na jednodušších systémech se limity technologie ukazují snáz. Je to jako s brzdami u auta. Na starších brzdách se dobře vysvětlí, proč se přehřívají; dnešní auta mají spoustu prvků, které tenhle problém tlumí, ale samotná limitace nezmizela – jen se s ní učíme pracovat. Kdo chápe, jak brzdy fungují, ví, že ani auto, které na dálnici skvěle brzdí, nemůže bez obav jezdit po okruhu. U umělé inteligence je to zákeřnější: základní problémy se nemusejí projevit u složitého zadání. Někdy stačí jiná formulace něčeho, co model před chvílí zvládl. A ještě hůř – někdo předvede, co AI umí, vy to zkusíte na vlastních datech a nefunguje to.
Co se děje, když model předpovídá
Při základním tréninku se model učí odhadovat, jaká slova v textu přijdou dál. Podle toho, jak se trefuje, se upravují nastavení neuronové sítě, a odpověď pak vzniká postupně, slovo po slovu, respektive token po tokenu. Předpovědět další kousek textu ale ještě neznamená, že uvnitř proběhne jen jednoduchá předpověď.
Firma Anthropic se u svého menšího a staršího modelu Claude 3.5 Haiku pokusila zmapovat, jak se při tvorbě odpovědi propojují různé aktivace v síti. Pracuje přitom s takzvanými features – vzorci aktivity, kterým lze přiřadit určité pojmy nebo vlastnosti. Představte si rybářskou síť s očky a uzlíky. Z pohledu na ni nepoznáte, co který uzlík při konkrétní odpovědi dělá, natož co znamená, když se jich najednou rozsvítí celý mrak. Když ale zazní slovo láska, v určité části sítě se některé uzlíky rozsvítí a propojí do tvaru, jako by udeřil blesk. Slovo nenávist vytvoří blesk jiného tvaru, hádka v rodině zase jiný, a některé z nich jsou si podobné.
Dlouhodobým mapováním se ukáže, že určité výrazy a pojmy rozsvěcují síť specifickým způsobem – jedna cesta souvisí s láskou, jiná se světlem, psem nebo tmou. Neznamená to, že jeden uzlík je láska a druhý nenávist; jde o vzorce aktivity rozprostřené po velkých částech sítě. Výsledkem je mapa, takzvaný atribuční graf. Není to rentgen myšlenek umělé inteligence, spíš metoda, jak zkoumat části výpočtu a vytvářet hypotézy o tom, jak model k odpovědi dochází.
Dallas, Texas, Austin: spojování informací uvnitř modelu
Některé výsledky jsou fascinující. Anthropic sledoval, co se děje, když má model doplnit větu „Hlavním městem státu, ve kterém leží Dallas, je…“. Správně je to Austin, protože Dallas leží v Texasu. Výzkumníci uvnitř našli aktivaci spojenou s Texasem: Dallas rozsvítil Texas a ten se teprve propojil s informací o hlavním městě. Mezi zadáním a vygenerovaným slovem tedy existoval mezikrok. Nebyla to ale jediná cesta – vedle ní vedla i přímá zkratka z Dallasu k Austinu, takže několik takových aktivací může působit současně.
Výzkumníci do výpočtu dokonce zasáhli: potlačili Texas a místo něj aktivovali Kalifornii. Odpověď rázem zněla Sacramento, přestože v zadání zůstal Dallas. Tvrzení, že si AI nespojuje informace, tu tedy naráží na zásadní problém. V tomto případě ke spojování prokazatelně dochází: ještě než model vypíše odpověď, proběhnou uvnitř výpočty odpovídající několika navazujícím krokům, které uživatel nikdy nevidí.
Model sice předpovídá text, ale při tom si vytváří vnitřní reprezentace, vzorce vztahů mezi pojmy. Není to databáze vět, které se opisují; spíš jakási mechanika aktivací mezi pojmy – a o tom, jak přesně vypadá, víme zatím velmi málo. Když se modelu zeptáte, kdo je nejlepším přítelem člověka, nejspíš odpoví pes. Ta předpověď ale nemusí být tak prostá, jak se zdá („na internetu se to často píše“); těsně předtím může na pozadí proběhnout spousta jiných vnitřních aktivací, o kterých nevíte.
Černá skříňka, nebo spíš chuchvalec
Proto se o umělé inteligenci říká, že je černá skříňka. Neplatí to tak, že bychom nevěděli, jak je postavená – konstrukci i výpočty známe a do skříňky se doslova můžeme podívat. Jenže vidět aktivity neznamená jim rozumět. Je jich nesmírně mnoho a je potřeba poznat, které s výsledkem skutečně souvisejí, které ho způsobují a které se rozsvítily jen náhodou. A pak ještě ověřit, zda stejné vysvětlení platí i u jiných otázek a jiných předpovědí.
Některé mechanismy už umíme rozpoznat docela dobře, je to ale teprve začátek cesty k pochopení všeho, co model při odpovědi dělá. Přesnější než černá skříňka by tak bylo mluvit o chuchvalci, který je třeba rozmotat. Jedním z hlavních důvodů, proč ho rozmotávat, je zjistit, kdy a proč model halucinuje.
Jak vzniká halucinace
Víme například, že v modelech existují aktivace spojené s odpovědí „nevím“ nebo „nedokážu odpovědět“, a dnešní modely obvykle nemají problém nevědomost přiznat. Pokud ale model pozná konkrétní jméno – třeba Napoleon – a nepozná bojiště, které si tazatel vymyslel, mohou být „napoleonské“ aktivace tak silné, že model donutí odpověď si vymyslet. Dobře známá znalost potlačí aktivaci, která říká „tohle nevím“. Rozsvícená cesta září tak jasně, že slabší linka nevědomosti přestane být vidět.
Není to univerzální vysvětlení každé halucinace, mechanismů je celá řada. Zkoumat tyto mechanismy je ale nesmírně důležité, protože lidé se při používání modelů jen těžko zastaví a zeptají se, jestli model nekecá. Dřív se k AI přistupovalo s tím, že cokoli může být nesmysl, a odpovědi se dohledávaly ve zdrojích; model spíš navedl správným směrem. Dnes jsou odpovědi tak často tak dobré, že o nich většina lidí přestává pochybovat – a stále méně častým halucinacím věří stále víc lidí. Paradox: čím méně halucinací, tím vyšší důvěryhodnost. U lidí to funguje stejně – čím víc někomu věříte, tím spíš mu uvěříte i ve chvíli, kdy lže nebo se jen splete.
Model jako syntetický respondent
Umělá inteligence se dnes používá i ve výzkumu, a to dokonce místo lidí. Na první pohled to může být děsivé, ale nápad dává smysl: model se učil na obrovském množství textů, v nichž lidé popisují, co dělají, co chtějí a jak přemýšlejí. Proč tedy nezkusit, zda neodhadne, jak by se lidé zachovali v konkrétní situaci? Výzkumníci i firmy proto zkoušejí jazykové modely jako syntetické respondenty – modelu přidělí roli, třeba zákazníka určitého věku, a ptají se, co by si koupil. Není třeba shánět tisíce lidí; stačí nechat model odpovědět tisíckrát. Jenže je nutné vědět, zda jeho odpovědi opravdu odpovídají chování lidí.
Jedna ze studií publikovaných v časopisu PNAS se zabývala mimo jiné hrou z behaviorální ekonomie zvanou 11–20. Hráč si vybere částku od 11 do 20 dolarů a tu dostane. Pokud ale zvolí přesně o dolar méně než jeho protějšek ve dvojici, získá navíc bonus 20 dolarů. Kdo čeká, že druhý zvolí 20, vyplatí se mu 19 – jenže druhý může uvažovat stejně a zvolit 18, a tak dál. U skutečných lidí z toho vzniká určité rozložení odpovědí.
Odpovědi jazykových modelů se od lidských výsledků výrazně lišily a měnily se podle formulace otázky, jazyka i přidělené role. Novější, větší či chytřejší modely přitom lidi nenapodobovaly věrněji. Model tedy může odpovídat velmi lidsky, a přesto se v konkrétní situaci rozhodovat úplně jinak než skutečný člověk. Jednotlivá odpověď dává smysl a klidně by ji mohl říct kdokoli z nás, ale výsledky celé skupiny ukážou, že se lidé chovají jinak. To platí i pro populární „druhý mozek“: když modelu předáte všechny své podklady a poznámky, nevznikne vaše kopie ani stejná úvaha nad daty. Informace mu pomohou vás lépe odhadnout, ale podobná odpověď neznamená stejné rozhodnutí ani stejné propojení informací. Chytrost sama o sobě není zárukou, že model dobře napodobí člověka.
Cena, ke které si model něco domyslí
Podobný problém se ukázal u cen. Kdo zkoumá, jak cena ovlivňuje ochotu koupit produkt, čeká v jednoduchém případě, že při vyšší ceně a jinak stejných podmínkách bude kupujících méně. Jazykový model si ale při neúplném zadání začne domýšlet, co vyšší cena znamená: že produkt bude kvalitnější, větší nebo luxusnější. V jeho představě se tak nemění jen cena, ale i samotný výrobek. Není to nepochopitelné – lidé si také často koupí dražší věc právě proto, že je dražší. Jenže výzkumník chtěl zjistit účinek samotné změny ceny, a teď neví, jestli model reaguje na zdražení, na vyšší kvalitu, nebo na kombinaci obojího.
Pro běžnou práci je to zásadní. Model může prohledat CRM, sklady i data z prodejen, sestavit rozumný seznam možností, připravit hypotézy, otázky do průzkumu nebo plán testování. Když ale přesvědčivě vysvětlí, proč si zákazník něco koupil, vůbec tím neověřuje, zda to tak skutečně bylo. A když se jednou trefí, nedá se z toho poznat, jak často se bude trefovat dál.
Kde stačí napodobit lidský úsudek
Rozhodující je ujasnit si, co po modelu chceme. Předpovědět, proč konkrétní zákazník nakupuje, je úplně jiný úkol než přečíst e-mail a odhadnout, zda bude adresáta zajímat. U druhého úkolu umí člověk dobře popsat, podle čeho se rozhoduje, a ví, jakou chybu je ochoten přijmout. Umělá inteligence tu může sloužit jako myšlenkový filtr. Stačí jí vysvětlit, co je důležité – poptávky školení, objednávky, nabídky spolupráce, dotazy na termíny či platby – a podle významu textu poštu roztřídí. Zvládají to dnes fantasticky i menší lokální modely.
Cílem není, aby AI každý e-mail sama vyřídila. Stačí, když zprávy rozdělí a některé nepotřebné zahodí. Občas předloží něco, co předkládat neměla, nebo naopak něco vynechá; při takovém objemu pošty by ale člověk, který zprávy jen přelétne očima, udělal chyb víc. Filtr funguje, přestože je chybový – nejde o dokonalost, ale o reálnou pomoc. Na jaké aktivaci přitom rozhodnutí stojí, je v tomto případě vedlejší.
Náročnější je to u informací, které člověk aktivně hledá. Odborných publikací o umělé inteligenci vycházejí každý týden vyšší desítky až nižší stovky a přečíst všechno je nereálné. Pomůže agent, který sleduje publikace výzkumných laboratoří, projde je „očima“ uživatele, vybere deset nejzajímavějších a přidá anotace. Něco důležitého může přehlédnout, ale skutečně podstatná zpráva se k člověku stejně dostane jinudy. Agent navíc umí i opak: když dokáže napodobit jeden pohled, může zaujmout i pohled někoho s jinými zájmy a upozornit na to, co by dotyčného nezajímalo, ale zajímat by ho mělo. Šetří tak čas a zároveň narušuje informační bublinu.
Administrativa a hranice důvěry
Třetí oblastí je administrativa – úkoly s jasným postupem. Někde stačí nechat AI připravit vzorec nebo automatizaci, do níž pak vstupují vlastní data; jinde, u vzácných či jednorázových agend, nemá smysl stavět celý postup a stačí obyčejný agent. Typicky jde o evidence, platby nebo daňová přiznání a kontrolní hlášení u jednoduchého podnikání. U složité firmy s mnoha účetními středisky může AI pomáhat s tříděním faktur, platbami a evidencí, samotné daně by jí ale bez vlastní odbornosti svěřit nešlo.
Měřítkem je srovnání s tím, jak by úkol zvládl člověk sám. Kdo není právník a obchodní podmínky by jinak psal z hlavy nebo je odněkud opsal, udělá lépe, když je nechá připravit model. U nájemní smlouvy stačí, když ji AI přečte a upozorní na případnou hloupost. Neznamená to, že model se nemůže splést – připomíná to právě úlohu s kiwi: co vypadá jako jednoduchý úkol podle pravidel, nemusí být pro model jednoduché. U vlastní agendy si ale člověk umí představit, co po AI chce, zda výsledek dává smysl a jak moc se odchyluje od standardu.
Závěr
Pochopit, jak umělá inteligence „přemýšlí“, pomáhá rozhodnout, co jí svěřit, co od výsledku čekat a jakou nedokonalost přijmout. Považovat ji za nástroj, který vůbec nepřemýšlí a neumí spojovat informace, je zásadní chyba – výzkum vnitřních aktivací ukazuje opak. Stejnou chybou je ale brát ji jako magii: když jednou zvládne úkol jako právník, neznamená to, že ho zvládne vždycky. Klíčové je znát základní limity technologie a vědět, zda konkrétní úkol spadá do rámce, který model spolehlivě zpracuje.
