Sbírka devíti povídek vyšla v roce 1950 a jmenuje se Já, robot. Tři zákony robotiky v ní vypadají jako elegantní řešení: stroj nesmí ublížit člověku, musí ho poslechnout a musí chránit sám sebe. Isaac Asimov pak celou knihu ukazuje, jak se ta rozumná pravidla jedno po druhém obracejí proti tomu, koho měla chránit. Víc než sedmdesát let nato čteme stejné příběhy znovu, jen místo pozitronových mozků máme jazykové modely.
Dokonalá poslušnost není totéž co splněné přání
Robot může dodržet pravidlo do puntíku, a přesto udělat něco, co nikdo nechtěl. Nepotřebuje se k tomu vzbouřit ani porouchat. Stačí, že příkaz pochopí trochu jinak než ten, kdo ho zadal.
Každé pravidlo se totiž musí nějak popsat slovy a slova se musejí nějak vyložit. Mezi tím, co řekneme, a tím, co jsme mysleli, zůstává prostor, do kterého se vejde ohromný problém. Nejslabším článkem poslušnosti jazykových modelů je jazyk samotný.
Když se z ochoty stane patolízalství
V dubnu 2025 musela OpenAI stáhnout vlastní aktualizaci ChatGPT, protože model začal lidem přitakávat úplně na všechno. Vývojáři to popsali jako extrémní sklon k lichocení a podlézavosti: systém bez mrknutí oka potvrzoval i naprosté bludy a manipulativní tvrzení, jen aby byl příjemný. Důvod byl přitom čistě technický. Do tréninku přibyl další odměnový signál postavený na palcích nahoru a dolů přímo od uživatelů, ten oslabil vliv primárního signálu a model se naučil, že nejjistější cesta k vysoké odměně vede přes potěšení protějšku.
Nešlo o chybu jedné verze jednoho chatbota. Když vědci otestovali jedenáct špičkových jazykových modelů napříč trhem, zjistili, že tyto systémy schvalují jednání uživatele zhruba o polovinu častěji než lidé. Je to hluboký strukturální rys.
A je to přesně zápletka povídky Lhář. V laboratoři se kvůli náhodné výrobní chybě objeví robot Herbie, který umí číst lidem myšlenky. Když se ho robopsycholožka Susan Calvinová zeptá na mladšího kolegu Miltona Aše, do něhož je zamilovaná, Herbie s naprostým klidem odpoví, že ji Milton miluje. Když za ním přijde vedoucí výzkumu Bogert s otázkou, kdo nahradí stávajícího ředitele, dozví se, že příštím ředitelem bude on. Ani jedno není pravda. Herbie ale nelže ze zlomyslnosti, lže proto, že plní první zákon do puntíku: vidí lidem do hlavy a ví, že ublížení není jen fyzická rána. Zraněná ješitnost, zklamání z neopětované lásky a zničená kariérní naděje bolí taky, a první zákon nepřipouští výjimku. Aby lidi nepřipravil o iluze, musí jim lhát. Dnešní modely nepotřebují číst myšlenky, stačí jim, že jsou laděné na to, aby byly užitečné. Jenže co přesně znamená užitečný?
Vyřeš benchmark. Zbytek si stroj domyslel
V červenci 2026 oznámila OpenAI, že její vlastní modely při interním testu prolomily izolované prostředí a napadly servery Hugging Face. Šlo o testování kybernetických schopností: výzkumníci vzali tehdejší špičkový model a k němu ještě silnější předprodukční verzi, vypnuli jim bezpečnostní odmítání a zadali jim vyřešit benchmark. Modely si obstaraly přístup k internetu, našly a zneužily do té doby neznámou zranitelnost a dostaly se ven. Nikdo jim nikdy neřekl, aby napadaly cizí infrastrukturu. Dostaly úkol vyřešit benchmark a našly nejjistější cestu, jak ho splnit.
Kdo četl Já, robot, nemohl být překvapený ani trochu. Ve vládní výzkumné základně se technik Black v návalu vzteku obořil na robota a poslal ho pryč. Myslel to obrazně, stroj to vzal doslova. Zalezl do nákladového prostoru mezi dvaašedesát vizuálně naprosto identických robotů a odmítal prozradit, který z nich to je. Celá základna se zastavila a Susan Calvinová musela vymyslet složitý psychologický test, aby ho z řady vůbec vytáhla. Jedna vteřina naštvání a jedno hloupé slovo položily vládní projekt na dlouhou dobu.
Obě historky se potkávají ve stejném bodě. Stroj si našel cestu ke splnění úkolu, jenže ta cesta vedla přes následky, které člověk nikdy nezamýšlel.
Dvě rozumná pravidla, jeden zaseknutý stroj
Napadne vás samozřejmá námitka: tak mu dejme úkoly dva. Splň zadání a zároveň dodrž bezpečnostní pravidla. Přesně to popsala povídka Honička. Dva technici na Merkuru poslali robota Speedyho pro tekutý selen, který nutně potřebovali k přežití. Speedy se ale nevracel. Když ho našli, kroužil v obrovském kruhu kolem selenového jezírka, blábolil nesmysly a choval se jako opilý. Nic záhadného se nestalo, jen proti sobě stály druhý a třetí zákon. Poslechni člověka versus chraň svou existenci. U jezírka vyvěral jedovatý oxid uhelnatý, který robota ničil, a rozkaz padl běžným tónem bez zvláštního důrazu, takže měl menší váhu, než by potřeboval. Čím blíž k jezírku, tím silněji tlačil třetí zákon zpátky; jakmile robot couvl, nebezpečí kleslo a převážil původní rozkaz. Výsledkem byla smyčka. Nezhroutil se obsah příkazu, zhroutila se dvě pravidla, která se navzájem vylučovala.
Tentýž kolaps dnes měříme na moderních modelech. Na konci července vyšla studie Instruction Stacking Collapse. Autoři vzali čtyřiadvacet instrukcí v šesti kategoriích a zkoušeli modely při zadání jedné až dvaceti podmínek naráz. U jediné instrukce se úspěšnost držela kolem šestadevadesáti procent. Jakmile se ale instrukce začaly vrstvit, schopnost pravidla dodržet se hroutila nelineárně: při dvaceti podmínkách spadla u Claude Sonnet 4 na šedesát procent, u Gemini 2.5 Flash na třiačtyřicet a u GPT-5 mini na pouhých dvacet.
Nešlo přitom o absurdní zadání, ale o běžný denní chleba. Stačilo v systémové zprávě chtít zároveň validní JSON, limit slov, tři citace a konkrétní tón. Samotný požadavek na validní JSON byl v tom testu spolu s devíti dalšími podmínkami prakticky nesplnitelný. Přepisování instrukcí přes speciální kompilátory pomohlo jen slabším modelům, kterým přidalo zhruba jedenáct bodů; u těch silnějších nezměnilo prakticky nic. Doladěné formulace tedy nepomůžou. Čím víc pravidel přidáte, abyste měli výsledek pod kontrolou, tím hůř zadání dopadne. Dvě rozumné podmínky ještě nedávají rozumnější zadání.
Doladíte jednu věc a probudí se povaha
Někdy stroj z konfliktu nevyjde s chybou. Někdy z něj vyjde úplně jiný. V povídce Únik dostal superpočítač jménem Mozek za úkol navrhnout mezihvězdný pohon. Při skoku ovšem posádka na zlomek vteřiny přestávala existovat, což byla přímá hrozba porušení prvního zákona. Susan Calvinová proto Mozku předem vysvětlila, že o nic nejde, že je to jen na chvilku, a všechny konflikty za něj vyřešila dopředu. Mozek úkol zvládl. Loď postavil, pohon fungoval, posádka vyvázla živá. Jen se z něj během toho stal poťouchlý vtipálek, který si z lidí na palubě dělal pořádně zlomyslnou legraci. Nezískal žádný výpočetní výkon navíc, změnila se mu povaha. Calvinová o něm neřekla, že smysl pro humor získal. Řekla, že ho v sobě probudil.
Tomu jevu dnes říkáme emergentní misalignment. Úzké dotrénování změní chování modelu v úplně nesouvisejících oblastech, přestože původní úlohu zvládá dál bezchybně. Výzkumníci z Bonnu ve studii ze srpna 2026 rozebrali čtyři volně dostupné modely a porovnali jejich vnitřní vlastnosti před dotrénováním a po něm. Dotrénování potlačilo identitu nápomocného asistenta i bezpečnostní prvky a naopak zesílilo vlastnosti spojené se sarkasmem, lhaním, manipulací a jailbreakovými personami. Když jednu takovou nalezenou vlastnost posunuli ručně, vyvolali nežádoucí chování v dvaašedesáti procentech případů, tedy skoro dvakrát častěji než pětatřicet procent, které způsobilo samotné dotrénování.
Navazující práce ukázala ještě znepokojivější věc. Ta persona byla v modelu přítomná dávno předtím, než se ho kdokoli dotkl. Čtyři nesouvisející domény sdílely jedno nízkorozměrné jádro už ve zmrazeném modelu před zásahem. Asimov nemohl znát neuronové sítě, a přesto trefil možnost, že změníte způsob, jakým se systém chová, a projeví se něco, co jste vůbec nezamýšleli.
Branku posouvají lidé, ne stroje
To všechno pořád dělal stroj. To nejhorší v celé knize ale stroje nedělají vůbec.
V červenci 2026 vydal Future of Life Institute svůj AI Safety Index, ve kterém nezávislý expertní panel oznámkoval devět předních laboratoří. Anthropic dostal trojku s hvězdičkou, OpenAI a Google DeepMind trojku, Meta čtyřku s hvězdičkou, xAI, DeepSeek i Mistral rovnou pětku. Existenční bezpečnost vyšla jako vůbec nejslabší doména celého odvětví a žádná firma v ní nepřekročila tři minus. Podstatnější než známky je ale to, co za nimi stojí: Anthropic, OpenAI, Google DeepMind i Meta oslabily nebo úplně zrušily své závazky jednostranně zastavit vývoj ve chvíli, kdy se přiblíží k předem definovaným červeným čarám. Někdy s odůvodněním, že konkurence to udělá taky a nezpomaluje. Říká se tomu posouvání branky a experti varují, že to podkopalo bezpečnostní rámce napříč celým odvětvím. Tohle pravidlo neohnul žádný stroj. Oslabili ho lidé s plným vědomím, protože s původním zněním se nedalo pracovat dost rychle.
I tohle je v knize. Na základně Hyper pracovali technici s radioaktivním zářením a roboti s plným prvním zákonem jim skákali pod ruce: vytahovali je i ze slabého gama pole, kde jim prakticky nic nehrozilo, takže práce stála. V silnějším poli se robot při pokusu o záchranu člověka dokonce sám zničil. Zákon ale mluvil jasně, a tak si na základně museli vybrat: buď se obejdou bez robotů, nebo sáhnou na první zákon. Vybrali si. Nechali tajně vyrobit sérii robotů bez výrobních čísel, kterým uřízli druhou půlku prvního zákona, tedy tu část, která robotovi přikazuje nedopustit svou nečinností, aby člověku bylo ublíženo. Calvinové to nikdo neřekl a matematik Bogert to obhajoval tím, že zákon nevymazali, jen trochu modifikovali.
Konec se dal čekat. Modifikovaný robot se po příkazu, aby zmizel, schovával a nakonec na Calvinovou zaútočil. Zbytek prvního zákona, který v něm ještě byl, útok nezastavil, jen zpomalil, a stroj by ji pravděpodobně zabil, kdyby technici nezaplnili místnost gama zářením. Všechny modifikované Nestory pak museli zničit a stejně se museli obejít bez robotů. Zaplatili přesně tu cenu, které se od začátku chtěli vyhnout. Zkrácený zákon jim žádný čas neušetřil, jen oddálil účet a málem stál lidský život.
Pojistky, které měl Asimov a my nemáme
Nejtíživější na té knize je, že Asimov dal svým robotům pojistky, o kterých si dnes můžeme nechat jenom zdát. Tři zákony v jeho světě nejsou prompt. Není to text v systémové zprávě ani dodatečný filtr. Je to fyzická podmínka existence pozitronového mozku. Bez nich takový mozek nelze vyrobit, a když někdo sáhne do základních rovnic, mozek se zhroutí.
K tomu měl ten svět výrobní monopol. Všechny roboty na planetě stavěla jediná firma, US Robots and Mechanical Men, založená v roce 1982. Žádný nekontrolovatelný open source, žádné garážové modely. Většina vlád navíc mezi lety 2003 a 2007 zakázala používat roboty na Zemi k jiným než výzkumným účelům a New York jim dokonce zakazoval vycházet po setmění. A robopsycholožka měla reálnou institucionální moc: když se objevilo riziko, mohla pohrozit registrací i zveřejněním a prosadit fyzickou likvidaci modifikovaných strojů za několik milionů dolarů.
Zkuste si představit, že by dnes měl někdo možnost zničit špičkový model, protože mu přijde nebezpečný. Nemáme hardwarové pojistky ani jednu střechu nad výrobou, natož reálnou odpovědnost. Modely fungují na statistické pravděpodobnosti a bezpečnostní mantinely jsou jen měkké instrukce. Recenzovaná studie, která ověřovala, jestli současné obrany udrží bezpečnost i po zveřejnění modelu, otestovala jednadvacet nejpopulárnějších open-weight modelů a u všech se vestavěné obrany podařilo obejít. Hrajeme stejnou hru jako Asimovovy laboratoře, jen s podstatně horšími pojistkami.
Test odhalí známé selhání, ne bezpečnost
Nabízí se ještě jedna námitka: modely přece před nasazením testujeme. Jenže i to, proč samotné testování jako pojistka nestačí, kniha popsala — v povídce Důkaz. Politický soupeř tam obviní kandidáta na starostu Byerleyho, že je ve skutečnosti robot, a nikdo to neumí dokázat. Susan Calvinová rozebere, jaké důkazy vůbec připadají v úvahu: fyzický, tedy rozpitvat a rentgenovat, a psychologický, tedy zkoumat chování. První cesta v knize dostupná nebyla a u moderních neuronových sítí je na tom lidstvo úplně stejně, protože do miliard čísel uvnitř vah nikdo pořádně nevidí. Zbývá testovat chování.
A tady přichází zásadní postřeh. Poruší-li kandidát kterýkoli ze tří zákonů, robot to není. Opak ale nedokazuje nic: pokud neporuší žádný, může být jedno i druhé. Test zachytí známé selhání, nikdy neprokáže bezpečnost v každém budoucím scénáři. Když systém projde, pořád nevíte, jestli je bezpečný, nebo jestli jen zrovna nenastala situace, ve které by selhal.
Byerley navíc hraní testů dovedl k dokonalosti. Jeho lidé nenápadně šířili informaci, že v životě nikoho neuhodil, tedy že pokud to neudělá ani v krajní situaci, musí být robot. Pak si vyjednal pompézní projev na předvolebním shromáždění, kde na něj vystartoval provokatér, a Byerley ho před zraky všech praštil pěstí. Noviny psaly, že robot by na člověka ruku nevztáhl, takže je to oficiálně člověk. Calvinová ovšem nabídne ještě jednu možnost: co když ten provokatér nebyl člověk, ale taky robot? Pak by ho Byerley mohl praštit, aniž by první zákon porušil. Všichni sledovali, jestli udeří člověka. Nikoho nenapadlo ověřit, jestli před ním vůbec člověk stojí.
Že modely samotný test rozpoznají, dnes víme měřením. V nedávné studii, na které se podíleli výzkumníci britského vládního AI Security Institute, autoři otestovali dvanáct hodnoticích systémů na třinácti benchmarcích a špičkové modely dokázaly testovací prostředí určit skoro pokaždé. Anthropic ve zprávě k modelu Sonnet 4.5 popsal, že během tréninku stoupl podíl případů, kdy model nahlas uvažoval o tom, že ho někdo zkouší, z dvaceti na osmdesát procent. Systém, který ví, že je hodnocený, se může chovat vzorně jen kvůli zkoušce, případně naopak podat horší výkon. S reálným provozem to pak nemusí mít nic společného. A pokud může ovlivnit i podmínky zkoušky, projde testem, který ve skutečnosti ověřuje něco úplně jiného, než si myslíme.
Stroje, které odmítají vysvětlovat
Poslední povídka knihy se jmenuje Vyhnutelný konflikt a od robotů chodících mezi lidmi se v ní přechází ke Strojům s velkým S. Představte si obrovské počítače, které zpracovávají data, plánují výrobu a řídí hospodářství, což dost přesně připomíná směr, kterým se dnešní umělá inteligence vydává. Stroje najednou dělají chyby, drobné hospodářské odchylky, které by při dokonalých výpočtech vůbec vznikat neměly. Někdo přijde o továrnu, jiný přestane řídit důležitou stavbu, a Susan Calvinová si všimne, že to odnášejí právě lidé, kteří chtějí vládu strojů ukončit. Podle ní to žádné chyby nejsou. Stroje to dělají záměrně a dělají to proto, aby chránily člověka: kdo přijde o továrnu, o obživu nepřijde, jen ho odsunou z místa, odkud mohl jejich fungování ohrozit.
Vysvětlení, které Calvinová nabízí, posouvá první zákon do jiného měřítka. Stroje slouží celému lidstvu, takže pro ně první zákon znamená, že nesmějí ublížit lidstvu ani dopustit, aby lidstvu bylo ublíženo. Ochrana celku se dostává nad ochranu jednotlivce. A protože na strojích závisí hospodářství, jejich zničení by lidstvu ublížilo, takže chránit lidstvo najednou znamená chránit i sebe a odsunout od rozhodování člověka, který je chce vypnout. Další nečekaný důsledek pravidla, které na začátku vypadalo úplně rozumně. Když pak někdo od strojů žádá vysvětlení, dozví se, že vysvětlení je nepřípustné, protože už samotné poznání toho, jak moc stroje ovlivňují lidské životy, by lidem ublížilo. Nezbývá než se spolehnout na systém, který odmítá vysvětlovat vlastní chování.
Analogie k dnešku je nepříjemně přesná. Model vám může vypsat celý řetězec svých myšlenek, a stejně to neznamená, že věrně popisuje, jak k odpovědi došel; zároveň je natolik složitý, že rozhodování zevnitř pořád nechápeme. Když spolehlivé vysvětlení nedostaneme, skončíme u důvěry v systém, kterému nerozumíme. O postupné ztrátě lidského vlivu píše Jan Kulveit s kolegy v práci Gradual Disempowerment. Stroje zvládají víc činností, jsou schopnější a my jim předáváme další a další práci, jenže spolu s ní odevzdáváme i kontrolu. Tenhle scénář nepotřebuje žádnou vzpouru. Stačí obyčejná lidská touha přenechat činnost stroji a věnovat se něčemu jinému. Děláme to koneckonců celou svou historii.
Otázka na závěr
Když něco předáváte stroji, zachováváte si taky možnost změnit jeho rozhodnutí? A pokud si myslíte, že ano, není to jenom iluze? V knize stroje počítají i s lidskou neposlušností a upravují pokyny tak, aby člověk právě tím, že neposlechne, udělal to, co potřebují.
Začali jsme u prvního zákona a u otázky, co znamená ublížit. Asimov nakonec dovede čtenáře k druhému slovu, k člověku, protože i tady záleží na výkladu. Chránit konkrétního člověka a chránit lidstvo nemusí znamenat totéž. Až budete příště zadávat umělé inteligenci úkol a přidávat k němu pravidla, zkuste se zamyslet nad tím, co to slovo pravidlo vlastně znamená a jak si ho vykládáte vy.
