Termín AGI — obecná umělá inteligence — ztratil smysl. Sam Altman ji sliboval loni, šéf Nvidia Jensen Huang tvrdí, že ji už máme. Jenže skoro nikdo přesně neřekne, co AGI vlastně znamená. Zkratka se poprvé objevila v odborné práci v roce 1997, rok před vznikem Googlu, a v roce 2001 ji nezávisle zpopularizoval výzkumník Shane Legg. Původní definice byla přísná: systém schopný vyrovnat se lidskému mozku v získávání obecných znalostí a jejich uplatnění v libovolné situaci, kde by jinak byl potřeba člověk.

Problém je, že dnes si termín vykládá každý jinak. Oslavujeme modely za to, že vyhrají konkrétní soutěž nebo překonají rekord v úzce definovaném benchmarku — a přitom potichu ignorujeme, že nic z toho nám neříká, jestli je systém skutečně obecně inteligentní, nebo jen výjimečný v jedné konkrétní věci. Propast mezi hype a realitou je tak hluboká, že lidé schopnosti AI buď brutálně přeceňují, nebo je zcela odpisují jako triviální nástroj. Chybí společný slovník.

Proč benchmarky nestačí: přestaňte měřit mechaniku

Proč standardní benchmarky AI nefungují a co navrhuje DeepMind

klip od 6:06

Klíčová změna perspektivy: přestaňte řešit, jak jsou zapojené dráty. Nezáleží na tom, jestli model používá transformátorovou architekturu, neuronovou síť nebo něco, co ještě nebylo vynalezeno. Záleží výhradně na tom, co systém opravdu dokáže. DeepMind tento přístup nazývá zaměřením na fakulty — schopnosti a výsledky, nikoliv mechanismy. Inspirace přitom pochází z oboru, který má za sebou sto let pečlivé empirické práce: z lidské psychologie. Psychologové strávili staletí budováním precizních, ověřených modelů toho, jak se učíme, jak si pamatujeme, jak se soustředíme a jak plánujeme. DeepMind říká: vezměte tuto mapu a položte ji na AI systémy. Podívejte se, kde se shoduje — a kde se rozchází.

Jenže aplikace lidské psychologie na stroj okamžitě odkryje zásadní rozdíly. Vezměte vnímání: když čtete větu, světlo se odrazí od obrazovky, sítnice ho zpracuje, zrakový kortex detekuje hrany a tvary, ty se spojí do písmen a slov — prožíváte text jako fyzický vizuální fenomén v prostoru a čase. AI oči nemá. Text vnímá přes matematický proces tokenizace a embeddingu: místo tvarů písmen převádí jazyk na číselná data a zanáší je do obrovského vícerozměrného prostoru, kde se slova a koncepty shlukují podle hodnot. Král a královna sedí kousek vedle sebe. Doktor a nemocnice taky. Vztahy jsou zapsány v geometrii, ne ve vidění.

Deset kognitivních schopností: jak inteligenci opravdu změřit

DeepMind: deset kognitivních schopností pro měření obecné inteligence

klip od 7:20

DeepMind rozložil lidskou inteligenci na deset konkrétních kognitivních schopností: osm základních stavebních kamenů — vnímání, generování, pozornost, učení, paměť, usuzování, metakognice a exekutivní funkce — a dvě složené schopnosti: řešení problémů a sociální kognice. V reálném světě totiž málokdy používáte jen jednu funkci v izolaci.

Metakognice je myšlení o vlastním myšlení — schopnost vědět, jak moc si věřím, poznat, kdy jenom hádám a kdy skutečně vím, zachytit vlastní chybu uprostřed věty. Když model před časem halucinoval falešné soudní citace s naprostou jistotou a právník je odcitoval před soudem, nešlo jen o chybu paměti. Byl to selhání metakognice: systému chyběl vnitřní monitor, který měl zahlásit nejistotu. Chyběla mu schopnost pochybovat o sobě.

Exekutivní funkce jsou jako řízení letového provozu: spousta kognitivních procesů se snaží přistát ve stejnou chvíli a dispečer musí určit priority, přesměrovat tok. Konkrétně v inhibiční kontrole — schopnosti zadržet první impulz a přehodnotit reakci — dnešní modely výrazně zaostávají. Chtějí okamžitě vygenerovat nejpravděpodobnější další slovo. Nedokážou se zastavit a celou sekvenci přehodnotit. Impuls přijde dřív, než ho dispečer stihne přesměrovat.

Paměť se dělí na sémantickou a epizodickou. Sémantická — faktická znalost světa — je u dnešní AI fenomenální: modely absorbovaly fakticky celé lidské vědění. Epizodická paměť je ale jiná věc: schopnost zapamatovat si konkrétní interakci v konkrétním kontextu a poučit se z ní pro budoucí problémy. Pokud jste se v patnácti spálili o svářečku, změnilo to váš vztah s nářadím navždy. Neuronové sítě s flexibilními váhami mají kvůli své architektuře s kontinuálním učením z jednotlivých epizod zásadní problém.

Třífázový protokol: testy, které model ještě neviděl

Jak ale těch deset schopností skutečně otestovat? Standardní benchmarky mají fatální slabinu: modely se trénují na obrovských datasetech a správné odpovědi na běžné testy pravděpodobně již někde viděly. DeepMind proto navrhuje přísný třífázový protokol.

První fáze: vytvořit zcela nové testy pro každou z deseti schopností na datech, která model nikdy nemohl vidět — nové problémy a scénáře vytvořené speciálně pro tento účel. Vyžaduje to velké množství lidské práce, ale je to jediný způsob, jak testovat skutečnou schopnost, a ne schopnost přiřazovat vzorce k tomu, co je uloženo v paměti.

Druhá fáze: stejné testy dostat reprezentativnímu vzorku dospělých lidí — konkrétně lidem alespoň se středoškolským vzděláním. Výsledky AI se pak porovnávají s reálnými lidskými schopnostmi, nikoliv s teoretickým maximem. Třetí fáze sestaví kognitivní profil: ne jedno číslo, ale kompletní obraz silných a slabých stránek ve všech deseti oblastech.

Inteligence jako olympijský desetiboj

Kognitivní profil AI jako olympijský desetiboj — inteligence není jedno číslo

klip od 12:23

Nejlepší metafora pro kognitivní profil AI: olympijský desetiboj. Nelze vyhrát tím, že jste výjimeční v jediné disciplíně — musíte zvládnout celou škálu. V textové produkci AI hodí oštěpem dál než jakýkoli žijící člověk. V sémantické paměti drtivě vede. Ale v sociální kognici — pochopení teorie mysli, vycítění podtextu, rozpoznání sarkasmu, porozumění tomu, že to, co někdo říká, a to, co tím myslí, jsou dvě různé věci — zakopne o první překážku. Výsledný kognitivní profil je extrémně nerovný: některé špičky sahají ke hvězdám, jiné klesají k nule.

Proč na tom tvaru záleží v praxi? Banka nasadí AI jako zákaznickou podporu. Model zvládá logické uvažování na výjimečné úrovni, pamatuje si každý bankovní předpis, dokáže řešit složité spory s dokonalou logikou. Jenže v kognitivním profilu systému chybí teorie mysli. Přijde vystresovaný zákazník, použije jemný emoční nátlak a trochu sarkasmu v naději, že systém pochopí jeho frustraci. Vezme sarkasmus doslova, úplně mine podtext a odcituje zákazníkovi přesný paragraf s ledovým klidem. Technicky správně — lidsky katastrofa. Tvar inteligenčního profilu určí, kde systém bezpečně nasadit. A z jediného IQ čísla to prostě nevyčtete.

Testovat model, nebo celý systém?

Jeden z metodologicky náročných problémů: má se testovat samotný model — čistá neuronová síť — nebo celý systém včetně přístupu na web, kalkulačku a ostatní nástroje? Argument pro testování celého systému je jasný: v reálném světě AI nikdy neběží izolovaně, vždy je součástí sady nástrojů. Protiargument: pokud chceme měřit epizodickou paměť a dovolíme modelu vyhledávat na webu, netestujeme paměť — testujeme schopnost používat Google. Samotná schopnost zůstane skrytá.

Design testů proto musí být precizní v tom, jak kontroluje prostředí. Při testování čisté paměti se nástroje seberou. Při testování řešení problémů — složené schopnosti — kalkulačka naopak dává smysl: otázka se mění z toho, jestli model umí počítat z hlavy, na to, jestli ví, kdy by počítání z hlavy nestačilo a kdy sáhnout po nástroji. Kde končí inteligence a kde začíná nástroj je z části otázka filozofická. V jistém smyslu jsou i lidé kyborgové: chytrý telefon je externím rozšířením biologické paměti.

DeepMind a Kaggle: otevřená soutěž za 200 tisíc dolarů

DeepMind ve spolupráci s platformou Kaggle spustil otevřenou výzkumnou soutěž přímo spojenou s tímto výzkumem. Hledají vývojáře, kognitivní vědce a lidi schopné řešit problémy, aby pomohli vytvořit nové vyhodnocovací nástroje pro všech deset kognitivních oblastí — se zvláštním zaměřením na pět nejtěžších: učení, metakognici, pozornost, exekutivní funkce a sociální kognici. Odměna je 200 000 dolarů. Důvod, proč je soutěž otevřená, je přesně to, o čem celý výzkum mluví: vytvořit skutečná, dosud neokoukaná testovací data si žádá obrovské množství lidské práce.

Co je inteligence bez těla a zkušenosti?

Závěr tohoto přístupu je filozofický. Představte si, že za pět let projde nový AI systém testem DeepMind a překonává 99 % lidí v devíti z deseti kognitivních schopností: dokonalá paměť, dokonalá logika, dokonalé plánování, dokonce i jemná sociální kognice. Jen kontinuální učení nových věcí bez tréninku mu nepůjde. Podle všeho, co psychologie měřit umí, je schopnější než kdokoli dosud testovaný.

A přesto bude tendence říct: to ještě není obecná inteligence. Proč? Protože tento systém vnímá jazyk jako číselné souřadnice v matematickém prostoru. Nikdy nezažil teplo, hlad, vědomí vlastní smrtelnosti. Nemá biologické tělo, které by pohánělo jeho touhy. Nikdy se nebál smrti, protože smrt není něco, co by bylo možné vnitřně pochopit bez zážitku. Pokud má všechny funkční schopnosti mysli, ale nemá žádnou ze smyslových nebo biologických zkušeností, které tyto schopnosti u lidí formovaly — co to vlastně je?

Inteligence není jedno číslo ani jedna cílová čára, přes kterou přeběhnete. Je to extrémně členitý profil silných a slabých stránek — radarový graf, kde některé špičky sahají daleko za hranice lidských možností a jiné se jim ani nepřibližují. Poctivá vědecky podložená práce spočívá v tom, že tento tvar přesně zmapujeme. Aby ti, kdo tyto systémy staví, nasazují a žijí s nimi, konečně věděli, s čím mají tu čest.