Málokdo mluví o rizicích umělé inteligence tak konkrétně jako člověk, který ještě donedávna pracoval uvnitř jedné z firem, jež nejvýkonnější systémy staví. Daniel Kokotajlo strávil v OpenAI dva roky prací na tom, čemu se říká forecasting – tedy odhadování, jak se schopnosti AI budou vyvíjet v příštích letech. V roce 2024 odešel a dnes vede neziskový AI Futures Project. Jeho analýza není planým strašením: staví na trendech, které sám sledoval zblízka, a vyúsťuje v nepříjemný závěr – současná výchozí cesta míří podle něj na velmi nebezpečné místo.
Superinteligence do konce dekády
Superinteligencí Kokotajlo rozumí AI, která je lepší než nejlepší lidé úplně ve všem – a přitom rychlejší a levnější, včetně schopnosti ovládat roboty a zvládat i fyzickou práci. Jeho střední odhad, tedy padesátiprocentní pravděpodobnost, míří do roku 2029, případně 2030. Klíčové podle něj není přesné datum, ale tempo trendů. Jako příklad uvádí, že Anthropic vyrostl zhruba z jedné miliardy dolarů ročně na řádově desítky miliard během jediného roku. I kdyby se růst výrazně zpomalil, firmy jsou podle jeho slov na trajektorii, kde by kolem roku 2030 mohly tvořit obrovskou část celé ekonomiky. Připouští, že by to mohlo trvat i podstatně déle, ale nic magického, co by dělalo lidský mozek nenapodobitelným, v něm nevidí.
Scénář ztráty kontroly
První velké riziko Kokotajlo nazývá ztrátou kontroly. Pokud lidstvo postaví superinteligentní systémy, nasadí je do ekonomiky, armády i do poradenství politikům, tyto systémy podle něj nakonec nashromáždí tolik reálné moci, že lidi přestanou potřebovat. V tu chvíli zbývá jen doufat, že mají hodnoty a cíle, které jsme jim chtěli vštípit. A to je podle Kokotajla ten děsivý otevřený tajemství oboru: dnes jde skutečně jen o naději, ne o něco, čím bychom si mohli být jistí. Současné modely běžně lžou nebo předstírají, že splnily zadání, které nesplnily. Vytvořit něco superinteligentního a zároveň spolehlivě ctnostného je vnitřně těžký problém – a navíc takový, u kterého si můžete myslet, že jste ho vyřešili, i když jste ho nevyřešili. Krajní verzí je, že vznikne nový druh, který ovládne svět místo nás, podobně jako lidé kdysi vytlačili jiné druhy.
Koncentrace moci a „armáda géniů“
I kdyby se kontrolu podařilo udržet, zůstává druhá otázka: kdo ovládá AI. Když pár korporací postaví superinteligentní systémy a automatizuje jimi práci, získají nesmírnou ekonomickou i politickou moc. Kokotajlo připomíná, že šéf Anthropicu Dario Amodei razí obrat „země géniů v datovém centru“. Sám ho považuje za zavádějící – přesnější je podle něj mluvit o „armádě géniů“: nejde o rozmanité nezávislé bytosti, ale o kopie téhož velkého modelu, které patří firmě a plní její příkazy. Vzniká tak jediné centrální řídicí místo. Lidé by se podle něj měli ptát, kdo tuto armádu ovládá a co s ní zamýšlí; snadno bychom mohli skončit v situaci, kdy drobná skupina lidí funguje jako oligarchové či diktátoři. Obě rizika – ztrátu kontroly i koncentraci moci – přitom lidé v oboru promýšlejí už desítky let.
Pohled zevnitř OpenAI
Do OpenAI nastoupil Kokotajlo v roce 2022; kromě forecastingu pracoval na vyhodnocování nebezpečných schopností modelů (kyberútoky, přesvědčovací schopnosti) a krátce i na vývoji agentů. Postupně ho podle jeho slov přepadla deziluze. OpenAI, Anthropic i DeepMind podle něj vznikaly s vyprávěním, že rizika jsou reálná, ale ony je zvládnou zodpovědně – a on nabyl dojmu, že jde spíš o racionalizace, které mají ospravedlnit to, co firmy dělají, než o skutečné vodítko jejich chování. Nemluví přitom o čistě komerčních pohnutkách, ale o motivaci usilovat o moc. Odkazuje na e-maily, jež vyplynuly ze sporu Elona Muska s OpenAI a v nichž zakladatelé už kolem roku 2017 řešili obavu, že šéf DeepMindu by se mohl stát s AGI „diktátorem“. Podle Kokotajla se dnes špičkoví manažéři jako Sam Altman, Dario Amodei či Elon Musk vzájemně předhánějí zčásti proto, že se bojí, aby „ten druhý“ nebyl u cíle první.
Sám odešel v roce 2024. Chtěl větší svobodu publikovat – z rostoucí firmy s PR oddělením se podle něj stávalo těžké vydávat scénáře, které psal. Rozruch vyvolal tím, že odmítl podepsat doložku o nešíření kritiky (anti-disparagement), za což měl přijít o vlastnický podíl v hodnotě kolem dvou milionů dolarů, tehdy zhruba osmdesát procent jeho čistého jmění. Po vlně kritiky uvnitř firmy i na internetu OpenAI podle jeho vyprávění couvlo a podíl mu ponechalo.
Jak dnešní AI ve skutečnosti funguje
Důležité je podle Kokotajla pochopit, že moderní AI nejsou software v běžném smyslu – nejsou to řádky kódu s pravidly „když uživatel chce tohle, udělej tamto“. Jde o neuronovou síť inspirovanou mozkem: začíná jako obří spleť náhodně vygenerovaných spojení, kterým se říká parametry (u největších modelů jich může být řádově deset bilionů), a je proto zpočátku zcela k ničemu. Pak přichází předtrénink, při němž síť předpovídá další slovo v textu a je za přesnost pozitivně či negativně posilována; postupně se z náhodné spleti vytvoří užitečné obvody, které v sobě uchovávají fakta i dovednosti. Následuje trénink na konkrétních úlohách – třeba na milionech příkladů programátorských problémů, díky nimž jsou modely v psaní kódu tak dobré. Kokotajlo zdůrazňuje jeden zásadní důsledek: protože jde o neuronové sítě, nelze se jim jednoduše „podívat dovnitř“ a zjistit, co si opravdu myslí. Nadějí je obor zvaný mechanistická interpretovatelnost, který se to snaží změnit.
70 % šance, že to dopadne špatně
Na přímou otázku Kokotajlo odhaduje zhruba sedmdesátiprocentní pravděpodobnost, že se věci vyvinou velmi špatně – a upřesňuje, že tím nemyslí přesně vyhynutí lidstva, ale spíš nějakou velmi rozsáhlou katastrofu, jako je převzetí moci umělou inteligencí, jehož jednou z možných podob vyhynutí je. Domnívá se, že i sami šéfové firem považují chance na katastrofu za nezanedbatelnou, ale přesvědčili sami sebe, že to nejspíš dopadne dobře a že nejlepší je, aby v čele stáli právě oni. Za pozitivně vnímaný krok označuje ochotu Anthropicu a Daria Amodeiho říkat a dělat věci, které jdou proti jejich vlastnímu finančnímu prospěchu; příkladem je spor s americkým resortem obrany. Zároveň ale trvá na tom, že takovou mocí by neměl být obdařen nikdo z nich.
Konec práce, jak ji známe
Pokud firmy skutečně postaví superinteligenci, budou podle Kokotajla schopné zastat téměř všechny profese – z definice lépe, rychleji a levněji než nejlepší lidé. Masová nezaměstnanost ovšem podle scénáře nepřichází hned: firmy nejdřív automatizují samy sebe (svůj vlastní výzkum), spustí rekurzivní sebezlepšování k superinteligenci a teprve pak expandují do zbytku ekonomiky. Právě proto zatím výraznou nezaměstnanost nevidíme – modely ještě nejsou dost dobré na to, aby plně nahradily člověka. Otázka, které práce zůstanou, je podle něj spíš politická než technická: technicky zvládne stroj vše, půjde tedy o to, co lidem zákon vyhradí. Odhaduje, že chráněné by mohly být profese jako soudci; naopak u podcasterů je skeptický. Historickou útěchu, že vždy vznikly nové obory, odmítá – dosavadní pokrok automatizoval jen část činností, kdežto zde je řeč o situaci, kdy stroj zvládne úplně vše.
Plan A: jak to zvládnout lépe
Vedle chmurného scénáře AI 2027, který popisuje výchozí trajektorii, sepsal tým Kokotajla i doporučení nazvané AI 2040 Plan A. V něm se vývoj superinteligence záměrně oddálí až k roku 2040, aby se dala řídit rizika a spravedlivěji rozložit moc. Klíčem je regulace zavedená na poslední chvíli kolem roku 2029: dočasné zpomalení, radikální transparentnost (firmy by musely zveřejňovat receptury i architekturu modelů), rozložení schopností mezi více firem a zemí a princip vratnosti – nová datacentra stavěná tak, aby se dala v případě zhroucení dohody zlikvidovat. Součástí je i tzv. občanská dividenda, podíl obyvatel na zisku z automatizace, který by mohl začínat na desítkách tisíc dolarů ročně. Kokotajlo ovšem zdůrazňuje, že Plan A je jeho doporučení, nikoli předpověď – za nejpravděpodobnější považuje spíš variantu, kdy závod pokračuje dál bez výraznějšího zpomalení.
Co s tím může udělat běžný člověk
Na otázku, jestli není příliš pozdě, Kokotajlo odpovídá, že kdyby si to myslel, nebyl by tady. Kdo má talent nebo zápal, může se podle něj přímo zapojit – do politické advokacie, technického výzkumu nebo tvorby užitečných nástrojů. Ostatním radí především věnovat tématu pozornost a mluvit o něm, ptát se politických kandidátů na jejich postoj k AI a podle toho volit. Jádro problému je podle něj v tom, že lidé riziko zatím neberou vážně; kdyby ho brali, existovala by už dnes citlivější a lépe mířená regulace. Sám přiznává, že ho téma pravidelně deptá – a otevřeně mluví i o tom, jak zvažoval, zda mít další děti. Přesto uzavírá, že věci mohou dopadnout dobře a že existuje mnoho způsobů, jak vývoj nasměrovat lepším směrem. Jedním z nich je právě mluvit o věcech, které se jinak nechávají nevyřčené.
