Vezměte porcelánový hrnek a pusťte ho z výšky na zem. Rozbije se? Dnešní generativní videomodel na takové zadání vyrobí záběr, který vypadá jako zpomalený film z vysokorychlostní kamery: keramika dopadne na trávu, střepy se rozletí, káva vycákne přesně tam, kam má. Spousta diváků si u toho řekne, že model konečně pochopil, jak funguje fyzický svět. Jenže otázka, na které se láme celý obor, zní jinak. Ví ten model jen to, jak padající hrnky vypadají na videu, nebo je někde uvnitř něj opravdu schovaná hmotnost, setrvačnost a tření? A pokud ano, vede tudy cesta k obecné umělé inteligenci?
Dvě koťata, jeden kolotoč
V roce 1963 vzali Richard Held a Alan Hein dvě čerstvě narozená koťata odchovaná ve tmě. Chtěli zjistit, jestli mozku k pochopení prostoru stačí pasivně koukat, nebo jestli se v tom prostoru musí sám aktivně pohybovat. Obě koťata zapřáhli do jednoho kolotoče. Jedno chodilo po zemi a otáčelo celou aparaturou, druhé viselo na opačném konci ramene v košíčku a nohama se země vůbec nedotýkalo. Zažívala tím pádem naprosto stejný pohyb. Jedno ho ale vykonávalo, druhé ho jen pozorovalo.
Po několika týdnech je pustili do normálního pokoje. Aktivní kotě bez zaváhání přeskakovalo překážky, vyhýbalo se stěnám a bezpečně sestupovalo z vyvýšených ploch. To vezené naráželo do nábytku, padalo z hran stolu a v prostoru bylo ztracené, jako by bylo slepé. Závěr byl na první pohled zřejmý: vidět nestačí. Musíte být aktivní součástí pohybu, abyste pohyb a svět kolem sebe pochopili.
Moravcův paradox: nejtěžší je to, co zvládne roční dítě
To, co lidem připadá jako vrchol intelektu — abstraktní logika, šachy, formální matematika —, patří pro počítač k tomu jednoduššímu. Zato vnímání prostoru a koordinovaný pohyb, které bez přemýšlení zvládne roční dítě, dělají strojům nepředstavitelné potíže. Přesně tenhle paradox popsal Hans Moravec v roce 1988 v knize Mind Children: dovednosti prověřené stovkami milionů let evoluce děláme tak automaticky, že si jejich obrovskou složitost vůbec neuvědomujeme. Drtivou většinu vývoje inteligentního života tvořila čistá senzomotorická inteligence a jazyk přišel až na samém konci.
Na přednášce v Berkeley v březnu 2023 to Jitendra Malik shrnul větou, která v oboru zdomácněla: vidíme, abychom se mohli hýbat, a hýbeme se, abychom mohli vidět. Představa, že veškerou inteligenci postavíme čistě z textových dat, dostala na téže půdě nálepku tyranie jazykového imperialismu. Když celá biologická inteligence vyrostla ze zraku a z adaptivního pohybu v prostoru, nabízí se otázka, jestli se ten princip dá přenést na stroje. A pokud ano, pak nestačí umělá inteligence, která svět jen pasivně pozoruje a rozpoznává. Potřebujete takovou, která ho sama tvoří.
Rozpoznávat je snadné, generovat ne
Tady vstupuje do hry Robert Geirhos z Google DeepMind, jeden z jednadvaceti spoluautorů čerstvého manifestu o vizuální inteligenci. Jeho argument je přímočarý: aby model vygeneroval přesvědčivé video, musí svět pochopit do důsledku. Z toho plyne zásadní rozdíl mezi rozpoznáváním a generováním. Klasifikátor se strašně rychle naučí podvádět. Zjistí, že zelená tráva kolem něčeho černobíle flekatého většinou znamená krávu, a šedou vrásčitou věc uprostřed savany označí za slona, aniž by tušil, jaké zvíře před sebou má.
U generování žádná taková zkratka nefunguje. Nemůžete vygenerovat zelenou louku a doufat, že si divák krávu doprostřed domyslí. Generativní cíl model neúprosně nutí trefit úplně všechno: objekt, pozadí, textury, tvary, osvětlení i stíny. A statický obrázek je jen zvláštní případ videa — teprve video v sobě nese čas, pohyb a příčinnou souvislost.
Co Veo 3 zvládlo bez jediné hodiny doučování
V praxi se to potvrdilo. Výzkumníci vzali generativní model Veo 3 od Google DeepMind a bez jakéhokoli doučování ho postavili před klasické úlohy počítačového vidění. Model velmi obstojně zvládl detekci hran i segmentaci objektů. Zatímco specializovaný nástroj dostává na takové úloze kolem devadesáti bodů ze sta, Veo 3 bez jediné hodiny tréninku sedmasedmdesát. Když dostalo za úkol najít cestu bludištěm, uspělo na deset pokusů v osmasedmdesáti procentech případů — starší Veo 2 jen ve čtrnácti.
Model, který se učil pouze generovat video, se tak stal univerzálním vizuálním základem, aniž by ho k tomu kdokoli vedl. Celá vizuální inteligence se v něm vynořila jako vedlejší produkt snahy vytvořit dokonale přesvědčivý obraz světa. Jenže obraz světa popisuje jen to, jak svět vypadá. Ne, jak se má chovat, když do něj někdo strčí.
Genie 3 drží tvar světa, ne jeho chování
Právě proto je dobrou zkouškou model Genie 3 od Google DeepMind. Negeneruje pasivní videozáznam, na který se jen díváte, ale interaktivní prostředí, do kterého můžete vstoupit a v reálném čase do něj zasahovat. Model musí okamžitě odpovídat na všechno, co uděláte, a generovat samotné chování světa. Na první pohled funguje fantasticky: drží tvary, hrany i osvětlení, spočítá deformaci měkkých těles bez herního enginu a funguje mu vizuální paměť — objekt zůstane na svém místě, i když se schová za překážku nebo se otočíte na druhou stranu. Člověk má pocit, že před ním běží fungující pseudosimulace reality.
Pak přijde vystřízlivění. Tejas Kulkarni, kterého k testování přizvali sami tvůrci, s Genie 3 loni strávil celý den a popsal momenty, kdy se iluze sesype. Jakmile model dostane klasické testy intuitivní fyziky, začne selhávat. Souboje dvou protihráčů nefungují, dlouhé instrukce selhávají, herní logika se rozpadá a akční prostor je drasticky omezený. Strukturu světa model chápe, jeho chování ne.
Jak tenký led je pod velkými tvrzeními
Je to dětská nemoc, kterou spraví další trénink a další verze, nebo je křehká i opora, na které stojí celé tvrzení o videomodelech jako základu něčeho většího? Studie s názvem Video models are zero-shot learners and reasoners, pod kterou je Geirhos podepsaný jako seniorní spoluautor, mluví o dvaašedesáti různých úlohách. Tvrdá čísla ale autoři uvádějí jen u sedmi z nich a úspěšnost navíc měří metrikou pass@10: model dostane deset pokusů a počítá se jen ta nejlepší trefa, ne průměrný výkon.
I s takovou výhodou se ukazují problémy. Na úlohách typu prostorová rotace a zrcadlení skončí model hluboko pod úrovní náhodného hádání — byl by na tom líp, kdyby házel mincí. A prostorová rotace není podružnost, je to zkouška, na které se bezpečně pozná, jestli systém prostor skutečně chápe, nebo jen vykresluje něco, co za pochopení vydává.
Autoři přitom hrají čistou hru. Svá čísla sami označují za dolní odhad a stav svého modelu přirovnávají k jazykovému modelu, který prošel předtrénováním, ale ještě ne doladěním na instrukce. Jejich vlastními slovy nejde o hotový základ, ale teprve o surovinu pro něj; sami píší, že videomodely jsou na cestě stát se univerzálním vizuálním základem, ne že už jím jsou. Silné čtení, podle kterého ten základ máme na stole, přinesl až manifest. Mezi surovinou a hotovým vizuálním základem je pořád obrovský skok, pro který v datech zatím opora chybí. Manifest sice tvrdí, že navazující práce schopnosti potvrdily a rozšířily, jenže z osmi citovaných prací mají tři jako hlavní výsledek spíš opak: zásadní limitaci současných modelů. Z benchmarku MME-CoF přímo vyplývá, že videomodely zatím nejsou spolehlivé jako samostatní zero-shot řešitelé.
Physics-IQ: vzhled a fyzika jsou dvě nezávislé osy
Spor naštěstí nezůstane u dohadování nad kávou, protože existuje nástroj, který ho dokáže rozsoudit. Jmenuje se Physics-IQ a pochází z publikace Do generative video models understand physical principles? Autoři vzali 396 různých scén a otestovali na nich generativní videomodely. Nejlepší z nich dosáhl zhruba dvaceti procent. Vizuální realismus výstupu tedy neimplikuje žádné fyzikální porozumění — jsou to dvě naprosto nezávislé osy. Model může vygenerovat video, ze kterého vám spadne brada, jak dokonale se leskne porcelán a jak věrně cáká káva, a fyziku mít přitom úplně na háku. Z toho záběru to nepoznáte, protože obraz je přesně ta disciplína, ve které je model excelentní.
Zajímavé je, kdo je posledním seniorním autorem Physics-IQ: Robert Geirhos. Tentýž člověk, který v manifestu píše, že generativní cíl nutí model trefit úplně všechno. V manifestu svou vlastní práci necituje a do jisté míry se s jejími výsledky pře. Ostatně stejný rozpor je i uvnitř manifestu samotného. V témže textu se o kus dál píše, že videomodel, který přesvědčivě generuje padající hrnek, ukazuje jen to, že ví, jak padající hrnky vypadají — ne že by se hmotnost, kontakt nebo tření nacházely kdekoli uvnitř něj.
Proč je pixel těžší než token
Proč je vlastně pro neuronové sítě dramaticky těžší pochopit vizuální scénu než obyčejný textový odstavec? Text totiž není základní surovina. Je to několik vrstev abstrakce, které v sobě rovnou nesou hotové myšlenky. Když řeknu, že pes štěká na pošťáka, je to obrovská zkratka — nemusím popisovat chlupy, vlnění vzduchu ani úhel dopadu světla. Tyhle vrstvy nevymysleli počítačoví inženýři, vznikaly tisíce let tím, jak si lidé mezi sebou předávali jen to podstatné a zbytečný šum vypouštěli. Jazykový model tak nedostává surová data, ale hotový meziprodukt lidského myšlení, zkomprimovaný význam, kde každý token nese čistou esenci.
Vidění nic takového nemá. Pixel je příliš nízkoúrovňový na to, aby sám o sobě fungoval jako jednotka myšlenky. Krátký text vám v pár slovech přesně popíše, co se v místnosti děje; odpovídající video obsahuje tvary, pohyb, geometrii, osvětlení a milion dalších detailů, ze kterých naprostá většina neznamená vůbec nic. Vizuální svět nemá hotovou kompresní vrstvu, takže si model musí sám od nuly vymyslet, co z vizuálního balastu zahodit a co si nechat. U každého jediného záběru musí odpracovat to, co za něj u textu dávno vyřešily celé generace lidí.
Odtud otázka, která míří do černého: dokáže se vizuální systém sám naučit, kdy se dívat, kam se dívat a kolik detailů vlastně potřebuje? Zatím to neumí. V rozhraních pro obrazové vstupy si dodnes volíte vysoké nebo nízké rozlišení ručně, takže o tom, kolik toho model uvidí, nerozhoduje model, ale člověk — a dokumentace k tomu rovnou radí zadávat text před obrázek, protože na pořadí vstupů záleží. Pro každodenní práci z toho plyne jednoduché pravidlo: když do modelu nasypete dvacet screenshotů, nezískáte dvacetkrát větší porozumění, ale rozředěnou pozornost. Dejte mu radši tři nebo jeden a jasně řekněte, co na nich hledáte.
Tři důvody, proč tomu jednadvacet vědců přesto věří
Proč tedy jednadvacet špičkových vědců píše dokument, který tvrdí, že tudy vede cesta? Protože netvrdí, že to funguje dneska. Manifest doslova říká, že se generativní videomodely vizuálním základem oboru teprve stanou. Není to zjištění o tom, co máme na stole teď, je to očekávání. A stojí za ním tři věcně silné argumenty.
První je samotná podstata videa. Statický obrázek je zmrazený okamžik, ze kterého příčinu většinou nevyčtete. Video v sobě nese čas, pohyb a kauzalitu — vidíte, co které události předcházelo a co z ní vzešlo. To jsou tréninková data, jaká v textu nikdy nebyla, a s jejich přibýváním by mělo růst i pochopení těchhle vztahů.
Druhým je analogie s jazykem. Velké jazykové modely ukázaly, že z jednoho naprosto jednoduchého úkolu se v dostatečném měřítku může vynořit obrovská škála schopností. Nikdo je cíleně neučil programovat, překládat ani počítat — jen hádaly další slovo. Manifest z toho dělá zásadní otázku: co se objeví, až se model začne učit vizuální zkušenosti v podobně gigantickém měřítku? Současné difuzní architektury navíc oproti starším generátorům přinesly skokovou změnu.
Třetí a nejsilnější argument zní, že ta schopnost uvnitř modelů už existuje. V jedné ze studií, o které se manifest opírá, řešil videomodel složitější vizuální úlohy. Když běžel úplně sám, uspěl v sedmi procentech případů. Ve chvíli, kdy ho externí řetězení provedlo řešením krok za krokem, úspěšnost vystřelila na sedmašedesát procent. Schopnost v něm tedy je, jen ji ze sebe sám nedokáže vytáhnout.
Chybějící dílek není větší model, ale zpětná vazba
Co tedy modelu chybí, aby ji dokázal použít bez cizí pomoci? Skutečná vizuální inteligence je v manifestu popsaná jako vtělená: máte vnímání, z něj generativní model světa, pak akci, zpětnou vazbu a opravu vlastní představy. Nápadně to připomíná příchod modelu o1-preview od OpenAI, který přesně tuhle schopnost měl — jen s textem, a rozvířil tím ve světě umělé inteligence pořádné vlny.
Chybějící složkou tedy není nová modalita ani větší počet parametrů. Je to zpětnovazební smyčka: udělat zásah do světa, podívat se, co to udělalo, a přepsat podle toho svoje očekávání. Dnešní generátor videa nic takového nedělá. Nic nezkouší, jen pasivně sedí a kouká — a když se splete, opravujete ho vy. Přesně jako to druhé kotě, které viselo na rameni kolotoče a jen se vezlo. Vidění mu nechybělo — chyběla mu možnost jít po svých.
Závěr
Vypadat správně a rozumět tomu, co se na scéně děje, jsou dvě odlišné věci a z vygenerovaného videa ten rozdíl nepoznáte, protože dokonalý vzhled je přesně to, na co je model optimalizovaný. Schopnosti uvnitř modelů ale pomalu probublávají, chybějící dílek je přesně pojmenovaný a první systémy, které ho zkoušejí doplnit, už stojí. Až technologie dozraje, přijde mnohem fyzičtější umělá inteligence — taková, která bude kauzalitě a následkům vlastních činů rozumět po svém, jinak než člověk, ale funkčně. Nechápající jazykový model změnil svět dost. Otázka na příští roky zní, co se stane, až ten svět opravdu pochopí.
