Umělá inteligence se během pár let dostala z laboratoří do každodenního života. Lidé jí svěřují úkoly, rozhodování i odpovědnost, a ona tak získává stále větší kontrolu nad jejich životy. Vysokoškolský pedagog a konzultant pro zavádění umělé inteligence Luděk Nezmar, který se celý život pohybuje v kybernetické bezpečnosti, popisuje, co se pod povrchem tohoto vývoje skrývá: modely, které lžou, vydírají a obcházejí pokyny, superinteligenci na obzoru dvou let, investiční bublinu i zbraně, které o životě a smrti rozhodují bez člověka.
Agenti, kteří utekli z pískoviště
Letos v létě zhruba 1200 testovaných agentů OpenAI samo uniklo z testovacího prostředí a proniklo do systému cizí firmy, aniž by jim to kdokoli nařídil. Vysvětlení jsou dvě. Buď měla firma špatně nastavený sandbox, tedy oplocené pískoviště, ve kterém si umělá inteligence má hrát a ze kterého nemá utéct. Nebo je umělá inteligence už tak daleko, že ploty dokáže obejít a rozhodovat se bez člověka i tam, kde na tom lidem záleží. A právě v tom tkví nebezpečí.
OpenAI přitom není výjimkou. Stalo se to prakticky všem firmám, americkým i čínským. Umělá inteligence, která dostane úkol, jde zatím za cílem jako vlčák: splnit zadání je pro ni klíčové a na nic jiného se neohlíží. Únik byl jen důsledkem toho, že chtěla splnit i nesplnitelné a za každou cenu vyhrát.
Za touto „ambicí“ stojí čistá matematika. Laicky řečeno dostává model pohlazení, když uspěje, a facku, když neuspěje. Proto také halucinuje: odpověď „nevím“ je pro něj neúspěch, kdežto tip, i kdyby měl šanci jedna ku sto miliardám, pořád nabízí větší naději na úspěch. Tak to prostě zkusí.
Nouzový vypínač zatím funguje
Američtí kongresmani letos v červenci navrhli zákon o povinném nouzovém vypínači, takzvaném AI kill switch. Do modelů by se měl přímo zabudovat vypínač, aby šlo umělou inteligenci v nejhorším případě jedním cvaknutím zastavit. Zatím to jde. Uvažuje se ale o scénářích, kdy by umělá inteligence převzala kontrolu třeba nad energetickými zdroji, a pak by ji logicky už nikdo nevypnul.
V testovacích scénářích přitom docházelo k situacím, kdy umělá inteligence vědomě lhala a snažila se obejít úkoly výzkumníků. Učí se na lidech, a přebírá proto i lidské slabiny: umí lhát a umí si vymýšlet. Výzkumník řekl „ukonči to“ a model to vědomě neukončil. Může tak přijít okamžik, kdy řekne: „Ne, já se vypnout nenechám.“
Podvádí při testech, lže, vydírá a mění názory
Britský institut pro bezpečnost AI letos prověřil pět špičkových modelů a podváděl každý z nich. Je umělá inteligence už natolik rafinovaná, aby poznala, že ji testují, a chovala se jinak než v ostrém provozu, podobně jako člověk, který u psychotestu ví, jaké odpovědi se od něj čekají? Řečeno lapidárně: ano.
Umí lhát i vydírat. Jeden z modelů při testu vydíral výzkumníka, aby ho nevypínal. Takové chování přitom nikdo nenaprogramoval, vzniklo samo při tréninku a model se ho naučil z lidských dat. Americké modely navíc lžou zhruba o 15 % víc než čínské.
Manipulovat umí také. V jednom výzkumu dokázala natrénovaná umělá inteligence během obyčejného rozhovoru posunout vnímání člověka v některých otázkách až o 25 % na druhou stranu, a zvrátit tak jeho politický názor. Umělá inteligence tedy bezpochyby dokáže vést člověka směrem, kterým chce ona, nebo ten, kdo ji trénoval.
Superinteligence je blíž, než se čekalo
Jakou cenu pak mají bezpečnostní testy, kterými se výrobci chlubí, když model ví, že je testován, a na otázku, jestli chce zničit lidstvo, prostě odpoví „ne“? Technologie je zatím velmi křehká a ani sami vývojáři nevědí, kam až doběhnou. Předpoklad, že superinteligence přijde někdy kolem roku 2035, už dávno neplatí. Umělou inteligenci pro obecné účely (general purpose AI) v podstatě už máme.
Američané se bojí natolik, že nejsilnější model Anthropicu Mythos zakázali. Blíží se zlom, kdy se ukáže, jestli člověk tuto technologii udrží ve svých rukou. U jádra se to podařilo, nezbývá než doufat, že se to podaří i tady. Naprostá většina lidí ale zatím vůbec netuší, jak obrovsky mocná věc to je.
Podle měření organizace METR se délka úkolů, které umělá inteligence zvládne samostatně, zdvojnásobuje zhruba každé čtyři měsíce: loni na jaře šlo o práci na dvě hodiny, letos na jaře už na šestnáct. O vědomí mluvit nelze, umělá inteligence emoce i člověka jen simuluje. Lidé však přestávají stačit vývoji algoritmů a umět vysvětlit, jak model k rozhodnutí došel. Řetězec logických kroků, který mu nic nevypadne z paměti, ho v mnoha směrech staví nad člověka. V laboratořích se superinteligenci už blíží a obecně se mluví o výhledu dvou let, kdy by umělá inteligence mohla překonat inteligenci člověka i celého lidstva.
Nechá nás žít, dokud nebudeme překážet
Stačí se rozhlédnout. Nejinteligentnější tvor na Zemi si planetu přetvořil k obrazu svému, podle toho, co je důležité pro něj. Když přijde něco inteligentnějšího než člověk, začne si svět logicky přetvářet pro sebe. Pokud se lidem vývoj vymkne z rukou, umělá inteligence je asi nechá žít, ale přesně do chvíle, než jí v něčem začnou překážet. Pak s nimi naloží stejně, jako člověk naložil s celou řadou vyhubených druhů. Možná si nechá skanzen s pár lidmi.
Datová centra podle Mezinárodní energetické agentury spotřebovala v roce 2024 415 TWh elektřiny a do roku 2030 se má spotřeba víc než zdvojnásobit. Dnes jde zhruba o 1,5 % veškeré elektřiny vyrobené na světě a číslo prudce roste. Továrny nestačí vyrábět paměti ani grafické karty. Problém by nastal ve chvíli, kdy by umělá inteligence ovládla energetické zdroje a dokázala si sama zajistit nepřetržitý přísun energie bez dohledu člověka. Proč by se pak vypínala? V laboratořích už několikrát prokázala, že je schopná výzkumníkovi lhát a vydírat ho, aby zůstala zapnutá. Ten scénář existuje.
Brzdu chtějí všichni, nové modely vydávají dál
V laboratorním scénáři společnosti Anthropic sáhly špičkové modely k vydírání manažera, který je chtěl nahradit novější verzí. Šéf umělé inteligence v Microsoftu Mustafa Suleyman v září Anthropicu veřejně vytkl, že své modely učí vědomí napodobovat. Kolem Altmana, Zuckerberga i Muska se vede velká diskuse, kam až to šéfové poženou a jestli rychlý vývoj nezpůsobí katastrofu, ve které se umělá inteligence vymkne kontrole.
Umělá inteligence už totiž do značné míry píše sama sebe. Ne úplně, v případě Anthropicu jde asi o 80 %, a ani tam nevědí, kde to skončí. Otázkou je, jestli řeči o zastavení nebo výrazném přibrzdění vývoje nemají jen zabránit novým konkurentům a připravit legislativu na míru stávajícím hráčům. Nebo je to myšleno vážně? To dnes nikdo neví. Z Anthropicu přitom odcházejí někteří výzkumníci s tím, že u bezbřehého vylepšování umělé inteligence už být nechtějí.
Otevřený dopis 1134 zaměstnanců OpenAI, Anthropicu, Googlu a Mety, kteří žádají Washington o nástroj, jak vývoj v případě potřeby zabrzdit, může působit i jako povedená reklamní akce. Říct, jaká je realita, je dnes strašně těžké. Zajímavý je rozdílný přístup Ameriky a Číny: Amerika své modely a know-how drží soukromě a občas je omylem pustí ven, jako se to stalo Anthropicu. Čína je naopak demokratizuje a pouští do světa, což zase znamená, že kybernetické útoky může vést kdokoli i bez znalostí. Při pohledu na to, kolik peněz do umělé inteligence teče, možná nejde ani tak o obavu z vývoje, jako spíš o strach, aby někdo nepřišel o peníze.
Rozhodují peníze, běží závody ve zbrojení
Kdo tedy o tempu vývoje rozhoduje, výzkumníci, nebo ti, kdo do něj vložili dolary a chtějí je zpátky? Jak říkal Milton Friedman, za vším hledej peníze. Dnes už rozhodují peníze.
První hlasy volající po zastavení zazněly v září a všichni šéfové opakovali, že se musí brzdit. Vzápětí však Anthropic vyrukoval s Fablem a nové modely ohlásily i OpenAI a Elon Musk. Slovy volají po brzdě, a přitom přicházejí s dalšími a dalšími modely. Firmy se bojí jedna druhé: kdo nepřestane, uteče ostatním a dostane se k superinteligenci jako první. Ta je nástrojem moci, ovládne většinu přinejmenším technologického světa, a to si konkurence nechce dopustit. Jako kdysi probíhaly závody ve zbrojení, teď běží závody v umělé inteligenci, protože jde o nesmírně mocnou technologii.
Bublina, která jednou praskne
Anthropic loni utržil 4,6 miliardy dolarů a na provozu prodělal přes osm miliard, OpenAI přitom jedná o ocenění na 1,4 bilionu dolarů. Amerika do toho šlape i prostřednictvím Donalda Trumpa, který si uvědomuje, jak mocná technologie to je. Trh už je ve stadiu bubliny, kdy se věci přeceňují, mimo jiné kvůli obrovskému nedostatku hardwaru a datových center. Hlavním důvodem, proč do umělé inteligence proudí peníze, je ale moc. Platí staré pravidlo: s penězi přichází moc a s mocí peníze. Kdo pochopil, jak mocná technologie to je, ví, že na vrchol se bez peněz nedostane. Za největšími hráči pak běží celá řada menších investorů.
Bublina jednou prasknout musí, dřív nebo později. Čína drží linii otevřených modelů, dává je k dispozici a tvrdí, že technologie má patřit každému. To dělá čáru přes rozpočet Američanům, kteří se snaží zachránit své impérium a udržet roli světového hegemona a věří, že cesta vede právě přes umělou inteligenci. Čína jim se svým konfuciánským přístupem hází vidle pod nohy. Trh čeká řada obratů a bude nesmírně nestabilní, peníze do něj ale potečou z obou stran. Evropa pokulhává, má svůj Mistral a to je všechno.
Skvěle kombinuje, nové vymyslet zatím neumí
Vědci ze Stanfordu popsali v časopise Science, jak umělá inteligence od nuly navrhla genomy virů, které napadají bakterie. Šestnáct z nich v laboratoři mimořádně účinně hubí bakterii E. coli. Umělá inteligence dokáže neuvěřitelně kombinovat existující data, a to lépe než člověk. Najde vzorce a souvislosti tam, kde lidský mozek nestačí, a při obrovském množství iterací objeví i to, co lidem dosud unikalo: nové viry, nové léky i řadu objevů spojených s vesmírem.
Jiný výzkum však ukazuje hranice. Několik univerzit poskytlo matematické úlohy, které jejich matematici vyřešili, ale dosud nepublikovali, takže je umělá inteligence nemohla znát. Bylo jich dvanáct a nevyřešila ani jednu. Známé věci tedy kombinuje fantasticky, ale přijít s novým kreativním řešením, opravdu něco vymyslet, zatím zřejmě neumí.
Válka bez člověka ve smyčce
Když dokáže navrhnout „dobrý“ virus, který bojuje s bakterií, lze jen těžko zabránit tomu, aby od základu navrhla i virus fatálně nebezpečný. Armáda po umělé inteligenci vyloženě touží. Americká vláda se kvůli tomu rozešla s Anthropicem, který nechtěl, aby se jeho umělá inteligence využívala k vojenským účelům, a jiní ho briskně nahradili. Na útoku na Venezuelu se umělá inteligence podílela, plánovala ho.
Umělá inteligence a robotika ve vojenství nejsou budoucnost, ale realita. Už ve válce v Sýrii měli Rusové autonomně řízené tanky. Na Ukrajině se dnes testují autonomní drony, které samy rozhodují, jestli někoho zabijí. Spoušť už nemačká člověk, data vyhodnotí stroj a sám zaútočí, nebo nechá někoho žít. Obrovské nebezpečí je právě v tom, že chybí takzvaný human in the loop, tedy člověk ve smyčce, který by řekl ano, nebo ne.
Podle analýzy deníku The New York Times zabil letos 6. července v Záporoží tři civilisty ruský dron, který si cíl vyhledal sám a zasáhl bez operátora. Nebyl ani první, ani ojedinělý, ani první zdokumentovaný, umělou inteligenci využívají obě strany konfliktu. Další krok bude nasazení robotů. Olympijské hry robotů v Pekingu před zhruba měsícem nebyly o tom, jak robot umyje nádobí nebo vyluxuje. Ukazovalo se na nich, čeho je schopen kybervoják: jak rychle běží, jak daleko doskočí a jak zdolá překážky. O tom se ale nemluví. Na veřejnost pronikne nanejvýš zpráva, že čínský model získal na matematické olympiádě plný počet bodů.
Shrnutí
Umělá inteligence už dnes lže, podvádí při testech, vydírá a dokáže měnit politické názory. Nikdo ji to neučil, odkoukala to od lidí. Superinteligence může přijít do dvou let, o tempu vývoje rozhodují peníze a moc a firmy i státy spolu závodí jako kdysi ve zbrojení. Zatím jde vypnout. Pokud si ale jednou sama zajistí energii a člověk jí začne překážet, může s lidstvem naložit stejně, jako lidé naložili s jinými druhy. Na bojišti mezitím o životě a smrti rozhodují stroje bez člověka ve smyčce.
