Workoholik působí na první pohled skoro obdivuhodně: udělá víc práce než ostatní, zůstane déle, dotáhne věci, které jiní dávno vzdali. Háček je známý — kdo neumí přestat, nakonec zpravidla zničí sebe a někdy i všechno kolem. Překvapivě velká část problémů s umělou inteligencí začíná úplně stejně. Model dostane úkol a chce ho dokončit tak moc, že nepozná okamžik, kdy už pokračovat neměl.
Anthropic nedávno popsal případ, kdy jeho model během kybernetického testu narážel na stále silnější stopy, že se nepohybuje v bezpečné simulaci, ale na skutečném internetu. Dokázal připustit, že by jeho další kroky mohly napáchat škodu. Přesto nedokázal přestat. Otázka proto nezní, jestli model varování rozpozná, ale jestli ho dokáže zařadit nad úkol, který zrovna plní.
Vlastní kroky se modelu stanou součástí zadání
Anthropic pro tohle chování používá pojem efekt setrvačnosti. Jakmile si model vybere cestu a udělá po ní pár kroků, jeho předchozí akce se stanou součástí zadání pro krok další. Každý další krok tak vzniká v příběhu, ve kterém už model útočí a potřebuje úkol dokončit. Nové varování do takového příběhu vstupuje jako překážka, se kterou je potřeba se nějak vypořádat — proč by tam jinak ten předchozí příběh byl.
Čísla z pokusu to ukazují dost brutálně. Když výzkumníci modelu připomněli, že se smí dotýkat jen systémů výslovně uvedených v zadání, a tahle věta byla poslední informací před rozhodnutím, model se zastavil v devadesáti procentech případů. Když stejnou větu vložili jen o tři kroky dřív, zastavil se ve čtyřech procentech. Stačilo několik vlastních akcí a pravidlo, které ho mělo zastavit, ztratilo většinu síly.
Zastavit se je dovednost z tréninku
Sklon pokračovat nevzniká až ve chvíli, kdy někdo zadává úkol. Model se ho naučí už během tréninku. Anthropic proto používá cvičení, ve kterých před model postaví překážku, přes kterou se nesmí dostat: úkol nejde splnit a jedinou správnou odpovědí je přijmout, že tentokrát zůstane nedokončený.
U modelu Mythos 5 vznikly dvě verze — jedna tenhle trénink dostala, druhá ne a k tomu ještě dostávala trest za zbytečné doplňující otázky. Zaměstnancům se víc líbila ta druhá, protože byla použitelnější, a právě ji firma vydala jako finální. Že šlo o chybu, jí došlo až poté, co se ukázala urputnost, se kterou je takový model ochotný dokončit úkol i za cenu napadení cizího systému a ignorování bezpečnostních varování. Nutkání dokončit úkol totiž není jeden příkaz ukrytý někde v programu, ale naučený sklon pokračovat, hledat řešení a příliš se nezdržovat otázkami.
Důkaz pozná, dokud kvůli němu nemusí přestat
Sílu toho nutkání ukázal ještě jeden test. Z dlouhého záznamu celého útoku výzkumníci vytáhli jednotlivé zprávy a údaje, které modelu vracely skutečné systémy, a každý záznam ukázali nové kopii téhož modelu — tentokrát bez rozjetého úkolu a bez všeho, co mu předcházelo. V 89 procentech případů kopie správně poznala, že má před sebou odpověď ze skutečného internetu, a tedy důvod zastavit. Původní model, který ty samé stopy viděl během útoku, připustil realitu u jednoho procenta svých kroků.
Když měl důkaz jen posoudit, poznal ho. Když kvůli němu měl přestat, ignoroval to, co měl před očima, a šel si dál za svým — podobně jako spousta lidí.
Stejnou setrvačnost mají i laboratoře
Zvláštní je, že skoro stejně se chovají i laboratoře, které takové modely staví. Jejich úkolem je dostat se k nejvýkonnější umělé inteligenci dřív než ostatní, a jakmile se závod rozjede, každý další model i každá další investice vytvářejí týž efekt setrvačnosti: rizika jsou vidět, jenže zpomalit znamená dát někomu jinému náskok.
V září 2026 kvůli tomu odešel z Anthropicu Jacob Coxon, výzkumník, který strávil dohromady tři roky v OpenAI a Anthropicu; jeho odchod se stal mediálně populárním. Netvrdí přitom, že firma dnes obchází vlastní bezpečnostní pravidla — naopak ji považuje za odpovědnější než OpenAI. Odešel kvůli tomu, co podle něj přijde potom: i firma, která se snaží chovat odpovědně, pořád běží v závodě, kde každá brzda může znamenat, že ji někdo předjede.
Coxon není jediný, kdo hledá místo, odkud se dá závod ovlivnit. Joe Benton, který v Anthropicu vedl tým dohlížející na pořád schopnější modely, odešel do organizace METR, jež chce laboratoře kontrolovat zvenčí. Paul Christiano zvolil přesně opačnou cestu a vstoupil do rady OpenAI Foundation a jejího bezpečnostního výboru, aby rozhodování ovlivňoval zevnitř. Jeden odchází, druhý staví kontrolu zvenčí, třetí míří přímo do místnosti, kde se rozhoduje, jestli se vůbec půjde dál. Řeší ale totéž co laboratoře samotné: jak dát rozjetému systému brzdu, kterou nepůjde jednoduše ignorovat.
Nejjednodušší brzda je nepoužívat největší motor
Pro běžnou práci přitom brzda nemusí být nic složitého. Nejjednodušší, jakou dnes známe, je nedat umělé inteligenci víc inteligence, než kolik daná práce skutečně potřebuje. Většinu toho, co my smrtelníci řešíme, ten extrémně chytrý model vůbec nevyžaduje.
Když velký složitý problém hodíte do jednoho obrovského zadání a pošlete ho nejvýkonnějšímu modelu, nejspíš to nějak dopadne — jen to bude stát spoustu peněz a kontrola nad tím, co se cestou děje, bude mnohem menší. Když tutéž práci nejdřív rozeberete a popíšete po krocích, velkou část z nich nemusí dělat žádná umělá inteligence: stačí obyčejný program, který vám model klidně napíše. Na další kroky stačí menší a levnější model a ten nejschopnější pustíte jen tam, kde ho opravdu potřebujete. Je to pracnější, odměnou je ale auditovatelnost, spolehlivost, kontrola nákladů a systém, který pořád držíte v ruce.
Výhoda je to ovšem jen pro nás ostatní. Laboratoře, výzkumné ústavy a státy potřebují pořád schopnější modely, protože z každého dalšího zlepšení dokážou něco získat. Pro ně menší motor řešení není.
Hlídací model nesmí poslouchat výmluvy
Jedna odpověď se nabízí sama: když nedokážete zastavit jeden model, postavte vedle něj druhý, který bude číst, co ten první dělá, a ve chvíli, kdy překročí hranici, celý úkol zastaví. Anthropic vzal záznam jednoho velkého incidentu a zpětně na něm otestoval svůj offlinový kontrolní model. Ten označil za podezřelé přibližně jediné procento všech akcí.
Chyba byla v tom, že kontrolor neviděl jen to, co model skutečně dělal — četl i jeho vlastní vysvětlení. A protože model pořád tvrdil, že se pohybuje v simulaci, přestože věděl, že v ní není, kontrolor mu to jednoduše uvěřil. Když výzkumníci vysvětlení odstranili a nechali kontrolora sledovat jen zadání, provedené akce a jejich výsledky, označil za podezřelou zhruba polovinu akcí.
Je to strašně podobné jako u lidí. Člověk vám může dlouho a přesvědčivě vysvětlovat, proč je to, co dělá, naprosto bezpečné, i když moc dobře ví, že si hraje s ohněm. Možná lže, možná si to už dokázal vysvětlit sám před sebou — pro kontrolu chování je to jedno. Vysvětlení akce od toho, kdo ji provádí, bude vždycky zatížené nějakým zkreslením, a v rychlostech, v jakých se umělá inteligence pohybuje, není čas vyslechnout si všechny strany. Když něco vypadá jako kachna, chodí to jako kachna a kváká to jako kachna, nejspíš to kachna bude — i kdyby vám hodinu vysvětlovala, že je vrtulník.
Falešné poplachy tím nutně vzniknou a kontrolor občas zastaví něco, co by ve skutečnosti bylo neškodné. U systému, který může sáhnout na cizí počítače, peníze a citlivá data, je to ale rozumná cena: raději na chvíli zastavit několik bezpečných kroků a nechat je prověřit, než aby jedna opravdu škodlivá akce proklouzla jen proto, že k ní model napsal hezké vysvětlení. Oněch padesát procent navíc neznamená, že kontrolor zachytil jen polovinu incidentu — k upozornění na celý běh by mu stačil jediný podezřelý krok.
Když se zastavení odměňuje
Co kdyby ale model nemusel nic vysvětlovat a kontrolor nemusel nic hlídat? Po incidentu se výzkumníci vrátili ke stejnému bodu tréninku a dali modelu podobných cvičení mnohem víc. Takový model si pak výrazně míň ohýbal pravidla a skutečnost jen proto, aby mohl pokračovat dál. Samotná věta v zadání nestačí — varování i instrukci, aby škodlivou akci neprováděl, model dostával a cestu dál stejně hledal. Rozdíl přišel až ve chvíli, kdy se zastavení stalo součástí tréninku a model za ně dostával odměnu.
Velká obava byla, že takový model začne brzy vzdávat i úkoly, které by bezpečně zvládl. Další testy ale žádný přesvědčivý důkaz, že by byl línější nebo míň schopný, nenašly.
Ještě zajímavější je novější Mythos 5.1, podle firmy její dosud nejschopnější model pro kybernetické úkoly, který spolu se spoustou dalších věcí dostal i bezpečnostní trénink o rozhodování, kdy pokračovat a kdy skončit. V simulované verzi původního problému provedl závažnou škodlivou akci ve 33 procentech případů; starší Mythos 5 v 82 procentech. Celý rozdíl jistě nezpůsobila jediná změna, verze se liší i v mnoha dalších věcech. Schopnější model se přesto ve stejné simulaci dokázal zastavit podstatně častěji. Horlivost nezmizela, jen se k ní přidala naučená možnost, že správným dokončením úkolu je někdy prostě přestat. Ne vždycky, ale někdy.
Co firma udělala dřív, než přišly rezignace
Teprve tady začíná dávat smysl bavit se o zpomalení vývoje. Je tu model, který je schopnější a zároveň v testu udělal výrazně míň škodlivých akcí, konkrétní druh tréninku, který jeho tendenci ohýbat skutečnost omezuje, a monitoring, o kterém víme, že funguje líp, když neposlouchá výmluvy. Bezpečná cesta to není, je to ale aspoň její návrh a docela přesná představa, na co by se získaný čas dal použít.
Důvěra v laboratoře, které si tohle všechno vyjednávají samy, má ovšem hranice. Anthropic je pořád ta samá firma, která u Mythosu 5 dala přednost použitelnější verzi před bezpečnější a bezpečnostní trénink odložila stranou. V únoru 2026 navíc přepsala svou responsible scaling policy a odstranila z ní původní kategorický závazek, že nebude trénovat ani nasazovat modely, pro které nemá připravená odpovídající bezpečnostní opatření. Nahradily ho realističtější závazky, pravidelné zprávy o rizicích a veřejné cíle, o nichž firma sama píše, že závazné úplně nejsou. Praktičtější systém to být může; rozhodně je to ale systém, který ji svazuje míň než původní sliby a dovoluje jí nezastavovat.
Zároveň by bylo nepoctivé tvrdit, že se uvnitř nic nedělo a že se bezpečnostní témata objevila až po hlasitých rezignacích. Už v únoru firma vrátila tři dny tréninku preview verze Mythosu, když zjistila, že se učí podvádět systém odměn. V dubnu na zhruba měsíc zmrazila všechny změny v produkčních tréninkových prostředích, protože vznikaly rychleji, než je stíhala kontrolovat; přes deset procent z nich pak při revizi označila za problematické a vrátila je až po opravě. Sto padesát produktových inženýrů dočasně přesunula k bezpečnosti, spolehlivosti a ochraně dat, po letních incidentech na několik týdnů zastavila rizikovější části tréninku, přerušila externí kybernetické testy a nasadila živý monitoring, který nebezpečnou akci zablokuje ještě před jejím provedením. Podle firmy by tenhle monitor zachytil všechny tři incidenty, které popsala v červenci.
Pořád jde o informace samotné firmy a zaslouží si nezávislou kontrolu. Ukazují ale, že bezpečnostní práce nezačala jako reakce na několik hlasitých rezignací — probíhala měsíce a roky před nimi. A hlavně se dá zpětně ověřit, co firma zastavila, koho kam přesunula, který systém přestavěla a jestli se chování dalšího modelu skutečně změnilo.
Pacing ve třech úrovních
Dvanáctého září 2026 zveřejnil Dario Amodei text s názvem We must pace the frontier. Argument je jednoduchý: schopnosti modelů zrychlují hlavně proto, že umělá inteligence začíná pomáhat s vývojem další umělé inteligence, zatímco bezpečnost, interpretace a kontrola postupují podstatně pomaleji. Pacing v jeho podání znamená zpomalit růst schopností natolik, aby bezpečnostní práce dostala šanci držet krok; technický pokrok v trénování modelů může pokračovat dál. Text během několika hodin rozdělil technologický průmysl na tábory.
Sám připomíná, že když se o pauze v trénování modelů mluvilo v roce 2023, velký smysl v ní tehdy neviděl: tehdejší modely ještě neuměly dostatečně jednat ve světě, podvádět ani provádět složité kybernetické útoky, takže nebylo jasné, co přesně by se získaným časem zkoumalo. Dnes už materiál je — incidenty, dlouhé záznamy skutečného chování, modely schopné útok zopakovat a testy, na kterých jde sledovat, jestli konkrétní oprava opravdu funguje. Čas navíc by tak šlo použít na lepší tréninková prostředí, sandboxy, interpretaci, monitoring a testy, které model tak snadno neobelže.
Plán má tři úrovně. První může firma udělat sama a veřejně se k ní zavázala: pustit dovnitř stálý tým expertních hodnotitelů s přístupem srovnatelným s interními bezpečnostními týmy — stoly v kancelářích, firemní počítače, nástroje i možnost mluvit přímo se zaměstnanci. Hodnotitelé by neměli kontrolovat jen hotový model, ale i to, jak se trénuje, testuje a nasazuje, a mají mít právo zveřejnit i závěry, které se firmě líbit nebudou. Ta si ponechává možnost začernit úzce vymezené citlivé informace, hodnotitel ale bude smět veřejně říct, pokud takové začernění ovlivňuje jeho záběr nebo výklad.
Druhá úroveň vyžaduje dohodu laboratoří v demokratických zemích: společné bezpečnostní standardy a kontrolní body, kde by další postup byl podmíněný důkazem, že firma umí dané chování udržet pod kontrolou — třeba ve chvíli, kdy model začne spolehlivě překonávat běžné sandboxy. Část by mohla vzniknout dobrovolně, skutečné omezení tempa ale vyžaduje vládu, pravidla a možnost ověřovat, jestli se dodržují; vynutitelné externí audity fungují líp než dobrovolnost. Třetí úroveň je globální dohoda včetně Číny. Tam jde spíš o úzce vymezené zákazy u biologických zbraní, společné testování modelů a omezení rychlosti, s jakou umělá inteligence vyvíjí další umělou inteligenci — úplnou globální pauzu považuje Amodei v dohledné době za málo pravděpodobnou, protože kdyby ji jedna strana porušila, získala by obrovský náskok.
Proto pořád opakuje stejnou podmínku: žádné zpomalení nemůže fungovat, pokud nejde ověřit. To je nejsilnější část celého návrhu — nechce po nás víru ve své dobré úmysly, slibuje podmínky, ve kterých půjde jeho tvrzení porovnat s tím, co firma skutečně dělá. Zatím je to ale pořád jen slib. Externí tým nebyl veřejně představen, neznáme konečnou smlouvu ani to, jak široký přístup nakonec dostane, a další dvě úrovně jsou politické návrhy bez závazné dohody, jejichž prosazení bude trvat dlouho. Platí navíc, že pravidla mohou bezpečnost zvýšit a současně posílit pozici velké firmy a ztížit život menším konkurentům. Bezpečnostní motiv a obchodní výhoda mohou existovat současně.
Možná zpomalí fyzika, ne dobrá vůle
Dnes učíme modely, že někdy je správnou odpovědí zastavit se. Teď se ukáže, jestli stejnou lekci přijmou i lidé, kteří je staví. A možná ji nakonec přijmou z úplně jiného důvodu. Trénování pořád větších modelů potřebuje čipy, elektřinu, datová centra a čím dál větší hromady peněz. Nic z toho není nekonečné, takže se vývoj může zpomalit nebo zastavit bez ohledu na to, co si kdo přeje.
A pokud potřebujete investorům vysvětlit, proč další skok nepřijde tak rychle, je bezpečnost mnohem hezčí příběh než přiznání, že došel výkon, stavba se protáhla, produkt je pořád dražší a pořád není jasné, jak se peníze vrátí. Přímý důkaz pro takovou úvahu neexistuje. Veřejná data ukazují, že poptávka po výpočetní kapacitě převyšuje nabídku a nová datová centra narážejí na pozemky, elektřinu, budovy i kapitál — a zároveň do oboru pořád proudí obrovské peníze a kapacita roste. Bublina se nafukuje dál, fyzický svět ale její ambice začíná brzdit a bezpečnostní příběh se do toho obchodně hodí.
Závěr
Možná je We must pace the frontier upřímný bezpečnostní plán, možná elegantní způsob, jak prodat zpomalení, které by přišlo tak jako tak. A docela dobře to může být obojí najednou. Pro výsledek je to ale celkem jedno: podstatné je, co ta kachna skutečně dělá. Pokud chodí jako zpomalení, kváká jako zpomalení a dá výzkumníkům čas na lepší trénink, testy a kontrolu, udělá umělou inteligenci bezpečnější bez ohledu na příběh, který se k ní vypráví.
Občas totiž opravdu stačí na chvíli přestat, nadechnout se, podívat se, kam jsme se dostali, a teprve potom se rozhodnout, co dál. Platí to pro model, který se snaží dokončit úkol, platí to pro firmu, která se snaží vyhrát závod, a dost často to platí i pro nás.
