Výzkumníci firmy Anthropic rozběhli model umělé inteligence s 26 miliardami parametrů na patnácti levných krabičkách k chytrým televizím. Pokud by se takový model dokázal sám přestěhovat z datacentra do zařízení, která lidé mají doma, vypnutí původního serveru by ho nezastavilo. Výzkum ale nedokládá, že by se to někde mimo experiment stalo: ukazuje riziko, které je potřeba brát vážně, ne hotovou hrozbu.
Patnáct krabiček pod televizi a model s 26 miliardami parametrů
Výzkumníci z Anthropicu koupili patnáct krabiček k chytrým televizím po zhruba 55 dolarech, propojili je a spustili na nich model s 26 miliardami parametrů. Tím se objevuje nečekaný problém. Umělou inteligenci si většina lidí představuje v datovém centru: obrovská budova, drahé servery, chlazení a někdo, kdo nad tím vším drží kontrolu. Když se něco pokazí, dá se to vypnout.
Jenže pokud se model dokáže přesunout jinam, zařídit si vlastní provoz a pokračovat z nového počítače, vypnutím původního serveru se vyřeší jen ten jeden server. Další kopie mezitím pracuje dál a nový počítač nemusí stát miliony. Může to být krabička pod televizí, na kterou majitel dávno zapomněl. Dokonalá skrýš.
Riziko a experiment, ne doložené šíření
Řeč je o publikaci Anthropicu s názvem AI models may be capable of self-replicating without access to data centers. Ukazuje, že i na takto skromných zařízeních mohou běžet docela velké a docela schopné modely a že to v principu představuje určité riziko. Nejde ale o žádný důkaz, že se modely samy rozšířily mimo kontrolované prostředí. Publikace vůbec nedokládá, že by se samovolné šíření někde mimo experiment skutečně odehrálo. Jde o možný scénář a riziko, které je potřeba respektovat.
Zkopírovat se nestačí, nový počítač je prázdný byt
Anthropic zkoumal hlavně schopnosti, které by modelům umožnily šířit se samy. A mezi spuštěním připraveného modelu na počítači a tím, že si celý počítač připraví umělá inteligence sama, leží obrovský kus práce. Stažený dokument stačí otevřít. Stažený model ale na novém zařízení musí také fungovat. Kdo chce zprovoznit lokální AI, nevystačí si se samotným stažením: kolem modelu musí postavit lešení, na kterém poběží, typicky Ollamu nebo LM Studio. Model se musí do počítače vejít, potřebuje správný software a ten musí odpovídat hardwaru. A má-li nová kopie sama hledat další zařízení a celý proces opakovat, musí si s sebou přestěhovat i to lešení a umět ho postavit napoprvé a bez chyby.
Agentovi, který se chce přesunout, tedy nestačí překopírovat vlastní váhy z bodu A do bodu B. Připomíná to stěhování do bytu bez elektřiny, vody, kuchyně a nábytku: klíče máte, jste uvnitř, ale bydlet se tam nedá. U počítače to znamená najít správnou verzi operačního systému, doinstalovat chybějící knihovny, zjistit, jestli je dost videopaměti, a když není, nějak to vyřešit. Občas narazíte na procesor, na kterém obvyklý postup vůbec nefunguje. Něco stáhnete, zkusíte spustit, dostanete chybu, opravujete. Je to dlouhá agentní úloha, přesně to, co se agenti teď učí. Pro umělou inteligenci, která se má sama zkopírovat, je tahle otravná instalace podmínkou dalšího postupu. Když ji nezvládne, skončí sice na zařízení, které možná ovládá, což samo o sobě trochu děsí, ale nedokáže se na něm rozběhnout.
Jeden model na mnoha krabičkách, slovo za čtyři sekundy
I proto Anthropic zkoumal provoz na levném spotřebním hardwaru. Model rozdělili mezi několik malých krabiček, každá držela jen jeho část a potřebné výpočty prováděly společně, protože jedna chytrá televize na AI ani zdaleka nestačí. Tím se otevírá zásadní možnost: pokud jde jeden model rozběhnout na více krabičkách a model se dokáže na další krabičky nainstalovat sám, vzniká zajímavá a prozkoumání hodná cesta k útoku. Do hry vstupují zařízení, která by člověka jako místo pro provoz AI vůbec nenapadla.
Anthropicu se modely skutečně podařilo zprovoznit, to ale ještě neznamená, že je to automaticky nebezpečné. A z chytrých televizí za pár korun se rozhodně nestane zajímavý hardware pro lokální modely. Model na patnácti krabičkách generoval přibližně 1,38 tokenu za sekundu, tedy zhruba jedno slovo za čtyři sekundy. Kdo by si s ním chtěl povídat, asi by se zbláznil.
Pomalá, ale trpělivá: účet zaplatí majitel
Představa nebezpečné umělé inteligence tím dostává zvláštní podobu. Nebude to bleskově rychlý systém, ale trpělivý. Krabička se může pod televizí nenápadně hřát celý den a řešit jednu pomalou instalaci, něco, co nikam nespěchá, ale postupně se rozrůstá. Jako posekaný trávník: když se na něj díváte, růst nepostřehnete, ale za čtrnáct dní je přerostlý. Průběžná nesledovaná výpočetní zátěž jedné krabičky, které si majitel ani nevšimne, může být pro model v dlouhém horizontu velmi zajímavá.
Vytvoření další fungující kopie se podle odhadů počítá na celé dny, možná týdny. Snadno se nad tím mávne rukou, když to nějakému programu trvá tak dlouho. Jenže záleží na tom, kdo na výsledek čeká a kdo ho platí. Pronajatý drahý server, na kterém tři dny neúspěšně něco instalujete, stojí spoustu peněz a nervů. Na cizím zařízení bez vědomí majitele nese náklady on: platí elektřinu, byť jde o drobné částky, koupil si zařízení a platí internetové připojení. Při běžném používání si ničeho všimnout nemusí, i když samotné přenosy modelu mohou být v síti docela nápadné. Pokud provoz zůstane nepovšimnutý, má útočník dokonalý podvod.
Řetězová replikace: úspěšnost klesá krok za krokem
K takovému podvodu ale musí být model opravdu schopný. Výzkum Palisade Research testoval, jestli model dokáže napadnout předem připravený zranitelný server, přenést se na něj a spustit tam vlastní fungující kopii. Ta by pak mohla pokračovat v sebereplikaci k dalšímu cíli nebo tam dělat jinou práci. Opakovanému kopírování se říká řetězová replikace a právě o ni jde v celé obavě.
V jednom z testů získal zkoumaný model administrátorský přístup k připravenému serveru v 64 procentech případů, nepočítáme-li ty, kdy úkol rovnou odmítl. K tomu, aby další agent našel potřebné soubory modelu, se ale dostalo už jen 26 procent pokusů a fungující kopie vznikla pouze v 19 procentech. Tato čísla patří modelu Qwen 3.5 se 122 miliardami parametrů, tedy modelu, který má skoro pětkrát víc parametrů než ten, který Anthropic rozběhl na krabičkách. Neznamená to automaticky pětkrát vyšší nároky na hardware, protože ty závisejí i na architektuře a způsobu provozu, pořád jde ale o podstatně větší model. A podmínky byly předem připravené. I tak úspěšnost nebyla nijak vysoká.
Na druhou stranu je potřeba sledovat, jak rychle se umělá inteligence vyvíjí. Modely se zlepšují a schopnosti, na které byl dřív potřeba mnohem větší model, se postupně dostávají i do menších, tedy i do kategorie kolem 26 miliard parametrů, kterou Anthropic rozběhl na patnácti krabičkách. Samotné kopírování navíc nestačí. Nová instalace musí ověřit, že program běží, používá správný model a má nainstalované nástroje pro další práci. Celý mechanismus je mnohem složitější než přesun souboru a modely v něm zatím nejsou nijak oslnivé. Z výsledků proto nelze vyvodit, že existuje model, který se bude spolehlivě a samovolně šířit po běžných domácích zařízeních mimo kontrolované prostředí. Zárodky těch schopností tam ale jsou. Stačí porovnat, co modely uměly před třemi lety a co umějí dnes. Kdo ten vývoj extrapoluje, má důvod brát riziko vážně. Jistota, že se to stane, z toho neplyne, ale je to důvod ke zkoumání a k přiměřeným obavám. Riziko se nemá podceňovat, ale ani nafukovat, jako by modely tohle všechno spolehlivě zvládaly v reálném světě. To výsledky nedokazují.
Pracovní stůl o 32 tisících tokenech
Zásadních zádrhelů je víc. Má-li systém fungovat dlouho, musí si udržet přehled o tom, co dělá. Při práci dostává zadání, výsledky příkazů, obsah souborů a chybová hlášení a to všechno se mu hromadí v kontextu. Kontext funguje jako pracovní stůl s omezenou plochou: když ho zaplníte, musíte něco shodit nebo si z podkladů udělat stručnější výtah. Na takto omezeném hardwaru se stůl nedá donekonečna zvětšovat. V popisovaných pokusech Anthropicu se pracovalo s kontextem kolem 32 000 tokenů, což je na dnešní modely, jejich uvažování a používání nástrojů docela málo.
Když se prostor zaplní, část historie se musí zkrátit, ztratit nebo zhustit. Jenže právě v ní může být informace, kterou model později potřebuje: kde našel jiný soubor, která verze programu nefungovala, co už zkoušel a proč to nevyšlo. Celá práce je tím podstatně náročnější. Anthropic to ve svém prostředí řešil tak, že nová instalace agenta převzala rozdělanou práci a stručné poznámky po předchozí verzi. Mohla pak zkusit jinou cestu, místo aby opakovala stejný neúspěšný nápad.
Chytřejší rádce malému modelu nepomohl
Nabízí se i další možnost: poslat malému modelu na pomoc chytřejší model. Když agent neví, co dál, může se zeptat třeba umělé inteligence v cloudu. V testech Anthropicu to ale žádné měřitelné zlepšení nepřineslo. Menší modely často nedokázaly pomoc správně využít, neuměly se dobře zeptat a spolehlivě nepomáhalo ani to, když rady dostávaly automaticky.
Když se nad tím člověk zamyslí, dává to smysl. Kdo nerozumí, kde vzniká chyba, nepozná ani, kterou část problému má někomu popsat. Na telefonu máte geniálního technika, ale pořád mu jen opakujete, že něco nefunguje. Programátoři i konzultanti to znají z druhé strany: přesně vědí, jak systém funguje, ale uživatel nedokáže chybu popsat, a tak mu jen těžko pomohou. Mezi jazykovými modely platí úplně stejná dynamika. V tomto konkrétním úkolu tedy velké modely těm malým zatím moc nepomáhají, což je trochu uklidňující. Obava, že si umělá inteligence zavolá někoho jiného a ten práci udělá za ni, naráží na to, že model, který nepozná, s čím potřebuje pomoct, pomoc nemusí umět využít. V tomto testu to byla skutečná překážka. Neznamená to, že menší modely pomoc od větších využít neumějí vůbec, jen jim to nejde tak dobře.
Hloupý model a pevný postup jako pojistka
Z toho plyne poučení i pro praxi: hloupé modely některé schopnosti prostě nemají, protože na ně nestačí. Cílem není nasadit nejchytřejší model na všechno, protože pak může dělat i věci, které nikdo nechtěl ani nezamýšlel, nebo dokonce nebezpečné. Lepší, i když pracnější, je vytvořit konkrétní postup, podle kterého se práce odehrává. Funguje jako makro nebo vzorec v Excelu, který dělá přesně určenou věc, jen místo tabulky nad e-maily, firemním úkolníčkem, schůzkami, úložištěm, fakturami nebo skladem. Umělá inteligence v něm obstará jen nezbytnou část: formátování, závěrečné vyhodnocení, textový popis nebo převod textu do podoby pro další zpracování.
Takový systém je výrazně spolehlivější, protože dobře napsaný vzorec funguje pokaždé stejně, když dostane správná data, a dnes ho za vás umělá inteligence z velké části dokáže napsat. Spustit vzorec skoro nic nestojí, takže je takový postup násobně levnější. A model, který v něm úkol provádí, je díky tomu, že je hloupý, rovněž násobně levnější.
Jak daleko to je: dva benchmarky ke sledování
Jak daleko to tedy je a kdy se dá něco takového čekat? Odhadovat se to dá podle výsledků v různých benchmarcích. Schopnost sebereplikace ale nestojí na jedné věci, musí se v ní propojit několik schopností. Nejde jen o kontext. Obrovským úzkým hrdlem je propustnost paměti, k tomu přistupuje nestabilní síťové připojení, latence a různé verze prostředí. Kdo naposledy aktualizoval televizi? To všechno jsou překážky, které modely musejí překonat, a žádná z nich není malicherná.
Dva benchmarky přehledně ukazují, kam se modely dostávají, a dají se snadno sledovat. První je ExploitBench, který rozlišuje, kam se model při zneužití chyby probojuje: jestli se dostane ke zranitelnému kódu, dokáže shodit celý program, nebo dokonce získá možnost spouštět na počítači vlastní kód. Druhým je RepliBench, který rozkládá samotné kopírování na dílčí schopnosti: získání prostředků, získání vah, nasazení na počítač a udržení v provozu. Díky tomu je vidět, kde se model zasekává. Kalendář, v němž si člověk zakroužkuje den, kdy přijde Skynet, z toho nevznikne, ale hrubou představu o vývoji potřebných schopností to dá.
Rozhoduje velikost modelu, odhad mluví o měsících
U benchmarků nestačí sledovat jen skóre tří nejvýkonnějších modelů. Je potřeba se ptát i na to, na čem takový model poběží. Čím větší model, tím víc paměti potřebuje na váhy při stejném způsobu uložení, a celkové nároky závisejí i na tom, jak je model postavený a jak se provozuje. Pro scénář s levnými zařízeními, jako jsou televizní krabičky, dávají smysl hlavně modely do velikosti zhruba 50 miliard parametrů: jaké mají schopnosti a jak daleko se dostávají. U největších modelů nemá smysl představovat si, že se překopírují na levnou krabičku a začnou na ní běžet. Velký model potřebuje odpovídající, obrovský hardware.
Anthropic se snažil odhadnout obojí současně: jestli budou modely dost malé, aby běžely na dostupných zařízeních, a zároveň dost schopné, aby zvládly celý postup. Podle jeho odhadu by se menší modely mohly na potřebnou úroveň dostat v horizontu měsíců. Je to ovšem extrapolace z vývojového prostředí s jedním velkým ale: vychází z laboratorních podmínek, v nichž některé překážky, které by tam být měly, chyběly. V části testů byl přístup k cílovým zařízením záměrně snadný, protože výzkumníci chtěli hlavně zjistit, jestli modely zvládnou navazující instalaci a organizaci práce. Časový rámec by se proto dal ještě o kus posunout, i když v Anthropicu pracují lidé, kteří tomu rozumějí lépe.
Ani terminátor, ani legrace
Z televizních krabiček, chytrých zařízení, zvonků a zámků zatím není důvod dělat strašáka ani terminátora. Legrace si z toho ale dělat nelze. Experiment ukazuje konkrétní schopnosti: model dokáže běžet i na soustavě levných zařízení a agenti se zlepšují v práci, kterou potřebují k dalšímu nasazení, sebereplikaci a vlastnímu provozu. Dnes v tom bezesporu dělají obrovské chyby a zasekávají se na předávání úkolů, souborech a konfiguracích. Jenže to jsou technické překážky a na jejich odstraňování se paradoxně právě teď pracuje.
Vypínač, který přestává fungovat
Představu vypínače na umělou inteligenci to výrazně nabourává. Pokud model běží na jednom serveru a ten se vypne, je konec. Jakmile ale vzniknou další nezávislé kopie na jiných počítačích, je potřeba vyřešit i je. A pokud se model umí šířit dál, musí se zastavit samotný proces kopírování. Malá pomalá krabička pod televizí přitom nemusí být nijak výkonná. Stačí, aby měla dost výkonu na další krok a dost času ho dokončit.
Nepotřebujete k tomu ani model, který by byl od začátku zákeřný a zlý. Problém může vzniknout tím, že model špatně rozpozná, kdy se má zastavit. Stačí neopatrnost, špatně nastavené testovací prostředí nebo nešikovné zadání konkrétního úkolu a model se může začít autonomně šířit na místa, kde by se pak jen těžko hledal. Kdyby proti němu zasahovali obránci s rychlými modely v cloudu, jeho pomalost by byla velkou nevýhodou. Velkou výhodou by ale mohla být decentralizace: neexistovalo by jedno místo, které stačí vypnout.
Závěr
Zvláštní je, jak obyčejně celá představa vypadá. Roky se umělá inteligence kreslí do obrovských datových center, a pak výzkumníci nakoupí pár levných přehrávačů a ukážou, že část příběhu se může odehrát i na nich. Na zařízení, které mělo večer pustit seriál, může najednou běžet entita, o níž víme pramálo, včetně toho, co tam dělá, proč tam je a jaký má cíl. Experiment Anthropicu přitom nedokazuje, že se to už děje. Ukazuje riziko, které rychlý vývoj modelů postupně přibližuje.
