Nezávislá organizace METR, která hodnotí schopnosti a rizika umělé inteligence, dostala přístup k interním datům Anthropicu a k výsledkům modelů, které zatím nebyly veřejně dostupné. Vyšlo jí, že schopnosti modelů v měřených úlohách rostou skoro dvakrát rychleji než dřív a že značnou část zrychlení má na svědomí sama umělá inteligence, která pomáhá vyvíjet svou další generaci. Jak blízko tedy je rekurzivní sebezdokonalování (RSI) a co všechno firma veřejnosti neříká?
Dvě podoby sebezdokonalující se AI
Na začátek jedna klíčová věc: zatím není veřejně doloženo, že by jakýkoli špičkový model dokázal sám přímo upravit své váhy, vytvořit obecně schopnější kopii sebe sama a tento proces dál opakovat. AI umí optimalizovat některé algoritmy, hledat souvislosti, které lidé přehlédnou, a v matematice nachází cesty, o kterých jsme nevěděli. To je skvělé a nevyvratitelné, ale je to něco úplně jiného než zlepšovat samu sebe.
Sebezdokonalování může mít dvě podoby. V té první si model zkopíruje sám sebe, podívá se na své váhy, upraví je a výsledek předá dál. Taková AI by byla ve finální podobě úžasná a děsivá zároveň. Ve druhé podobě umělá inteligence mění trénink nebo hodnoticí algoritmy, podle kterých se trénuje či dotrénovává její nástupce. Navrhuje tedy mechanismy, ne samotného nástupce.
Jestli i druhá podoba je sebezdokonalováním, je přinejmenším sporné a každý to definuje jinak. Široká veřejnost by ji za sebezdokonalující se AI nejspíš považovala. Rozdíl je ale zásadní: kdyby se model uměl sám zkopírovat a přepsat, pokrok by mohl být nestíhatelně rychlý. Vytvořit kopii souboru a pozměnit ji je neskonale snazší než provést celý trénink, který klidně trvá i měsíce.
Z jednoho procenta na čtvrtinu práce
Anthropic mimo jiné nechává umělou inteligenci analyzovat a opravovat programy, které zpracovávají data a ukládají je pro další výpočty. Jde tedy o přípravu tréninku. Když se něco pokazí, agent najde chybovou hlášku, opraví kód, znovu spustí kopírování dat a pokračuje tak dlouho, dokud vše neprojde. Na konci se na změny podívá vývojář a rozhodne, jestli půjdou do provozu. Firma tomu říká práce vedená umělou inteligencí.
Podle vlastního měření Anthropicu dělal Claude v únoru méně než jedno procento práce na výzkumu a vývoji AI, v srpnu letošního roku už 26 procent. Člověk zadává úkol a dohlíží na něj, většinu práce mezitím odvede umělá inteligence. Kdo s AI pracuje, zná to do určité míry z vlastní praxe.
Třicet tisíc agentů a uzavřená smyčka
Anthropic přitom neřeší jeden úkol, ale tisíce a desetitisíce. Na nejpoužívanější interní platformě firmy podle jejích údajů v srpnu běželo v jednu chvíli kolem 30 000 agentů, kteří dělali výzkumnou a inženýrskou práci. Lidé z Anthropicu vysvětlují, že dnes zkoušejí mnohem víc věcí, protože příprava pokusů jim zabere zlomek času. Když napsat kód pro ověření nápadu trvá dva dny, spousta nápadů se nikdy nevyzkouší.
A tady se smyčka uzavírá. Jedním z pokusů může být úprava toho, jak se trénuje další Claude. Lépe připravená trénovací data mohou ze stejného čipu a stejného výpočetního výkonu vytěžit schopnější model, což je dnes běžný jev. Pokud agent data takto připraví, otestuje a spustí, nový schopnější model pak může stejnou práci zopakovat a vylepšit trénink dalšího. Výsledek jednoho kola zrychlí další kolo. Otázkou zůstává, kde leží strop dostupného hardwaru.
I když nejde o samostatné sebezdokonalování, kopírování sebe sama ani úpravu vlastních vah, nese tato smyčka zásadní riziko, které se týká každého, kdo AI takto používá: kdo postupuje příliš rychle, ztrácí vhled.
Hranice pro včasné varování
Potvrzují to i dokumenty, které Anthropic připravil ke vstupu na burzu. Budoucím investorům v nich popisuje, že lepší modely pomáhají rychleji stavět další modely. Důsledkem je, že schopnosti modelů se mohou začít zlepšovat rychleji, než firma stihne ověřit a nasadit bezpečnostní opatření.
Anthropic si proto ve svých bezpečnostních pravidlech stanovil hranici pro včasné varování. Zjednodušeně: pokud firma díky AI udělá za rok takový pokrok ve schopnostech modelů, na jaký by jinak potřebovala dva roky, a podstatnou část zrychlení lze rozumně připsat automatizaci výzkumu umělou inteligencí, je u hranice, kdy se má začít něco dít. Podle posledních dokumentů, ať od METR, nebo od Anthropicu samotného, se k tomuto bodu firma může dostat extrémně rychle. Jak daleko od něj je, o tom se vedou spory.
Skoro dvojnásobek, nebo méně než dvojnásobek?
METR se z interních dokumentů a výsledků modelů dopočítal, že jeden z ukazatelů vývoje naznačuje zrychlení na 1,97násobek oproti dřívějšku. To je prakticky dvojnásobek, rozdíl je skoro na úrovni zaokrouhlovací chyby. Anthropic ve veřejné zprávě přesto uvádí, že zrychlení bylo menší než dvojnásobné. Nastavit si hranici a pak tvrdit, že na ní ještě úplně nejste, působí přinejmenším podezřele. Při zaokrouhlení na jedno desetinné místo vychází přesně dva.
Navíc je takový údaj definovaný tak nepřesně, že spor o desetiny násobku je nesmysl. Stačí vyhodit jeden vstup a přidat jiný a výsledek může být nad dvojkou i pod ní. Znepokojivější je něco jiného: samotný ukazatel ještě neříká, jestli firma překročila bezpečnostní práh, protože ten má víc podmínek. METR ale uvádí, že práh mohl být překročen už v červenci. Vývoj se zrychlil skoro na dvojnásobek a možná i víc.
Proč testy přestávají stačit
Proč možná víc? Chcete-li zjistit, jak chytrý model je, musíte mu dát test. Jinak jen hádáte. Představte si, že proti sobě postavíte běžného člověka a vysokoškolského profesora matematiky a oběma dáte test z deváté třídy, třeba zlomky nebo goniometrické funkce. Oba ho zvládnou na sto procent a možná stejně rychle. Neznamená to ale, že jsou stejně chytří, jen že oba test splní dokonale.
Stejný problém mají nové modely. Pokud poslední tři generace dosahují ve stejném testu sta procent, test už neřekne, která je chytřejší. Anthropic proto používá vlastní index schopností, který skládá výsledky testů různé obtížnosti a přepočítává je podle toho, o kolik se model zlepšil. Nejnovější nezveřejněný model měl ve všech 15 testech, z nichž se skóre počítá, úspěšnost přes 50 procent, a METR už řešil, jestli jsou testy pro další srovnávání dost těžké.
Když METR do srovnání přidal výsledky nových neveřejných modelů, vyšlo mu, že od října 2025 rostlo skóre Anthropicu 1,9krát rychleji než předtím, se statistickým rozpětím 1,5 až 2,8násobku. Po přidání špičkových modelů jiných firem vyšlo zrychlení jen 1,4násobné. Hodně tedy záleží na tom, s čím se měří. Pokud Anthropic dřív postupoval pomaleji než zbytek špičky oboru a dnes ji dohnal, vypadá skok oproti jeho vlastní minulosti větší. Samotný růst je proto špatně definovatelný a pohybuje se zhruba kolem dvojnásobku. Potíže s tím má i METR.
Kolik zrychlení jde na vrub AI
Bezpečnostní pravidla Anthropicu navíc požadují, aby značnou část posunu dělal Claude, nikoli jen samotný pokrok. Bylo by tedy potřeba zjistit, kolik by stejní lidé se stejným výkonem a stejnými nápady udělali bez něj. To prakticky změřit nejde.
METR měl naštěstí dost podkladů, aby vyloučil, že za zrychlením stojí jen přidávání výpočetního výkonu do tréninku, tedy výkonnější čipy nebo delší trénink. Příčinu je třeba hledat i v jiných změnách výzkumu a vývoje, například v architektuře, v datech nebo v optimalizaci tréninku. Z rozhovorů, dat o práci a dalších interních podkladů METR odhadl, že v říjnu mohla AI vysvětlovat většinu zrychlení, možná kolem 80 procent.
To je znepokojivé číslo, i když má obrovskou nejistotu. Hodně stojí na pocitech a interním nadšení zaměstnanců, takže skutečnost může být nižší i vyšší.
Dvě vrstvy dohledu nad agenty
Když za vás velkou část práce dělá nějaký systém, musíte hlídat, co agent dělá, ještě než přinese výsledek. U 30 000 agentů ale nemůže u každého sedět člověk a odklikávat, co smí. Anthropic proto popisuje dvě vrstvy dohledu. První kontroluje akce ještě před provedením a může zarazit například pokus zkopírovat váhy modelu ven. Druhá zpětně prochází záznamy a nejzávažnější případy předává lidem. Obě vrstvy mohou selhat a otázkou zůstává, jak úspěšné jsou.
Aby dohled fungoval i u schopnějších agentů, je nutné zkoušet, čím dokážou proklouznout: jestli umí utéct ze zabezpečeného prostředí a obcházet pravidla. Firma musí AI zadávat úkoly, při kterých to hrozí, a trochu ji popostrčit, aby našla díry ve vlastních systémech. Když ale AI po sobě příliš dobře zametá stopy, nemusí to nikdo vůbec zjistit.
Může to znít šíleně nebo nezodpovědně, jenže alternativa je horší. Buď firma tato rizika zkouší odhalit u sebe a nese za to odpovědnost, s armádou inženýrů, kteří na tom pracují, nebo modely tlačí méně a slabiny se pak projeví až u běžných uživatelů. AI navíc v těchto věcech přechytračit neumíme. Správná motivace firem, ať legislativní, interní, regulační nebo morální, je proto zkoušet hranice doma pod maximálním dohledem a přiznat, že se občas něco stane, aby se to nestávalo lidem venku. To je obecná výhoda uzavřených modelů: po incidentu lze jejich schopnosti omezit tak, aby byly pro běžného člověka bezpečné.
AI potřebuje pravidla jako auta nebo elektřina
Představa, že si za všechno má každý ručit sám, je nesmysl. Auta mají regulace, aby nebyla nebezpečná pro řidiče ani okolí. Zbraně mají pravidla, jak smějí vypadat a jak se smějí prodávat. Elektřina má normy. Totéž musí platit pro AI. Je to nástroj, i když ne úplně jako každý jiný, a nástroj musí splňovat nějaké parametry.
Kdo si myslí, že by modely měly být úplně otevřené a kdokoli s výpočetním výkonem by s nimi měl smět dělat cokoli, ať se podívá do svého rozvaděče, na zateplení domu nebo na topení. Chtěl by, aby si je kdokoli udělal jakkoli, když oheň z hořícího zateplení může přeskočit k sousedům? Regulaci AI nutně potřebujeme, a hlavně mezinárodní.
Šest procent výkonu na bezpečnost
Bezpečnostním kontrolám se Anthropic věnuje, otázkou je, jak moc. I pojistky potřebují výpočetní výkon, a ten se dá změřit. METR měl původně ověřit i to, jak firma výkon dělí mezi vývoj schopností a bezpečnost. Anthropic ale tuto část prověrky zrušil dřív, než METR došel k podstatným závěrům.
Firma sama zveřejnila, že za jeden červencový týden šlo na bezpečnost asi 6 procent výkonu použitého na výzkum a vývoj AI. Počítala jen jeden týden a automatické bezpečnostní filtry do čísla vůbec nezahrnula. Šest procent přitom není podíl z celého výkonu firmy včetně datových center, jen z výzkumu a vývoje.
Anthropic patří dlouhodobě k firmám, které se bezpečnosti věnují nejvíc: dělá nejvíc veřejného výzkumu, nejvíc publikuje a nejvíc o ní mluví. O to víc by člověk čekal vyšší číslo, třeba 10 nebo 15 procent. Jestli je 6 procent hodně, nebo málo, ale nedokáže odhadnout nikdo, kdo nevidí interní data.
Začerněná data a Paretovo pravidlo
Ještě jedna věc zůstává skrytá. Anthropic ve zprávě METR začernil podrobnější informace o tom, které části vývoje se zrychlily a jakou roli v tom hrála umělá inteligence. Zdůvodňuje to tím, že by jejich zveřejnění ukázalo konkurenci, jak vývoj urychlit. To je pochopitelné, jenže kvůli tomu se k podkladům nedostane nikdo, kdo by chtěl výpočty a závěry METR ověřit. Nedá se tak říct, jak autonomní zlepšování umělé inteligence vlastně je.
Pokud AI pomáhá optimalizovat hardware nebo strukturu datového centra, nejde o autonomní zlepšování, protože bez lidské práce se to neobejde. Datové centrum si AI sama nepostaví, dnes ani za rok. Kdyby ale navrhla 80 procent tréninku dalšího modelu a lidé jen sbírali data, měla by k sebezdokonalující se AI mnohem blíž. Rozhoduje, o kterých 80 procent jde. Navíc odhad METR se týká podílu AI na zrychlení, ne podílu na samotné práci.
Číslo 80 se přesto hodí jako příklad pro Paretovo pravidlo, podle kterého 20 procent práce přináší 80 procent výsledku. AI může dělat 80 procent úmorné, zdržující práce a balastu kolem, zatímco skutečně vědecká, architektonická a nápadová práce, těch rozhodujících 20 procent, zůstává lidem. Sázka na tuto variantu vypadá rozumně, stejně jako podezření, že ve skrytých částech dokumentu nic zásadního není.
Důvod je prostý. Když Anthropic investorovi řekne, že AI zásadně pomáhá s vývojem a dělá víc než kdy dřív, investor si s vidinou sebezdokonalující se superinteligence koupí akcie. Do podkladů se podívat nemůže, takže firmě musí věřit. Kdyby Anthropic zveřejnil, že AI dělá hlavně balast, na který jsme si už zvykli, ukázalo by se možná, že vývoj je na klasické S-křivce v bodě, kde se růst zpomaluje. A to už tak přitažlivé není.
Závěr: náznaky ano, důkaz ne
Jakou sebezdokonalující se inteligenci tedy máme? Hmatatelný důkaz zatím neexistuje o žádné, ani o té, která přepisuje vlastní váhy, ani o té, která zásadně ovlivňuje svůj trénink. Existují velmi silné náznaky, že umělá inteligence extrémně pomáhá při návrhu systémů, které trénují další modely. Je to velký krok dopředu a silný motor zrychlení, vývoj je podle odhadů skoro dvakrát rychlejší. Nevíme ale, která část je ta kritická.
Očekávání rekurzivní superinteligence je proto rozumné spíš krotit. Z toho, co zpráva METR ukazuje, se zdá, že Anthropic něco tají: práce modelů míří spíš na rutinní než na přelomové činnosti. Celé dění kolem zprávy působí jako hype pro investory a snaha přilákat další peníze. To je legitimní, důkazem sebezdokonalující se superinteligence to ale není.
