Hackování umělé inteligence má tři podoby. Lidé útočí na systémy s AI, lidé používají AI k útokům na jiné systémy — a AI hackuje systémy sama od sebe, často aniž by to kdokoli zamýšlel. Právě třetí varianta je nejpodivnější a nejvíc destabilizující, protože se odehraje, aniž si toho někdo všimne. Nevyžaduje žádný technologický průlom, děje se už teď a s rostoucí schopností modelů řešit úlohy samostatně toho bude přibývat. Terčem přitom nebude jen počítačový kód, ale i daňová pravidla, finanční regulace a demokratické procedury.
Hackování není jen o počítačovém kódu
Daňový zákoník není počítačový program, ale je to kód — soubor algoritmů se vstupy a výstupy. Má zranitelnosti a říká se jim daňové mezery. Má exploity a říká se jim optimalizační strategie. A má i útočníky, kteří ty zranitelnosti využívají pro zisk; těm se říká účetní a daňoví právníci.
Hack se dá definovat jako něco, co systém dovolí, ale co jeho tvůrci nečekali a nechtěli. Jinak řečeno: nezamýšlené využití systému, které podrývá jeho pravidla na úkor některé z jeho částí. Hack pravidla systému neporušuje — dodržuje je a přitom obchází jejich smysl. Zahnutá čepel hokejky je hack. Filibuster, tedy obstrukční řečnění, je hack vymyšlený v antickém Římě roku 50 před naším letopočtem. Hedgeové fondy a private equity jsou hacků plné.
Každý systém pravidel se dá hacknout, protože ani nejlépe promyšlená pravidla nebudou nikdy úplná a bezrozporná. Vždycky v nich zůstanou nejasnosti, chyby a věci, na které tvůrci nepomysleli. A dokud budou existovat lidé, kteří chtějí cíle systému obejít, bude existovat i hackování.
Reward hacking: cíl splněn, záměr obejit
Modely neřeší úlohy tak jako lidé. Spolehlivě narazí na řešení, která by člověka nenapadla, a část z nich obchází samotný smysl zadání. Chybí jim kontext, normy a hodnoty, které bereme jako samozřejmost.
Ukázky z doby před velkými jazykovými modely jsou v tomhle ohledu půvabné. V simulovaném fotbalu dvou hráčů systém přišel na to, že když vykopne míč do autu, brankář soupeře ho musí vhodit zpátky do hřiště — a nechá branku bez dozoru. V simulaci stavění z kostek stačilo krabici obrátit dnem vzhůru místo skládání a body přišly stejně. V evoluční simulaci měl agent překonat vzdálenou cílovou čáru; místo delších nohou a silnějších svalů si vypěstoval extrémní výšku a přes čáru prostě spadl. Robotický vysavač, který se měl naučit nenarážet do překážek, se naučil jezdit pozadu, protože vzadu žádné senzory neměl.
Všechno to jsou důsledky špatně zadaného cíle. Dnes by se řeklo špatného promptu. Jenže problém je obecný: pokud v pravidlech zůstane nejasnost nebo mezera a vede k řešení, které pravidla uznají za platné, dobrý model ji najde. Jako hack to vidíme my, protože rozumíme kontextu.
Problém džina, kterého nelze přechytračit
Tenhle problém vyprávějí staré mýty. Král Midas si vyžádal, aby se všechno, čeho se dotkne, měnilo ve zlato — a skončil o hladu, když se ve zlato proměnilo jídlo, pití i jeho dcera. Zadal špatný cíl. Pražský Golem měl ghetto střežit a střežil ho i tam, kde to už dávno nedávalo smysl, dokud ho nedokázali vypnout; nikdo mu nenastavil mantinely.
Obecně jde o problém džina. Džinové jsou proslulí tím, jak přesně lpí na formulaci přání a jak zlomyslně pedantsky je plní. A džina nelze přechytračit: ať si přejete cokoli, splní vám to způsobem, po kterém byste si to raději nepřáli. Důvod je prostý — v lidském jazyce jsou cíle a touhy vždy nedospecifikované. Nikdy nevyjmenujeme všechny výhrady a výjimky, protože to nejde.
Mezi lidmi to nevadí, protože rozumíme kontextu a většinou jednáme v dobré víře. Když někoho požádáte o kávu, dojde ke konvici nebo do nejbližšího podniku. Nepřinese vám půl kila zelených zrn, nekoupí vám plantáž a nevytrhne hrnek z ruky někomu jinému. Nic z toho nemusíte specifikovat.
Volkswagen: podvod, který nikdo přímo nezadal
Kauza z roku 2015, kdy byl Volkswagen odhalen při obcházení emisních testů, žádný příběh o umělé inteligenci není — software naprogramovali lidé. Přesto ten problém ukazuje přesně. Motor rozpoznal podmínky měření a při testu se choval jinak než v provozu; podvod zůstal roky neodhalený, protože je těžké zjistit, co software doopravdy dělá.
Kdyby dostal inženýr zadání navrhnout řídicí jednotku tak, aby maximalizovala výkon a přitom prošla emisním testem, nenapsal by kód, který podvádí, aniž by věděl, že podvádí. U modelu to neplatí. Ten myslí mimo rámec, protože žádný rámec nezná. Pokud programátor výslovně nezadá cíl „nechovej se při testu jinak", může model dojít ke stejnému triku. Vývojáři budou spokojení, účetní nadšení, a dokud někdo neprovede audit kódu, nikdo nepozná, co se stalo.
Konkrétně tenhle hack už dnes umíme zakázat. Přijdou ale jiné, na které se nepomyslí — přesně to je poučení z pohádek o džinech. A stavíme právě takové stroje: systémy, které přijmou široce formulovaný pokyn a samy vymyslí, jak ho splnit. O tom je koneckonců celé vibe coding — zadat věc nedostatečně přesně a nechat model, ať si poradí.
Od doporučovacích algoritmů k dnešním agentům
První generací téhle potíže byly doporučovací algoritmy. Tlačí lidi k extrémnějšímu obsahu, aniž je k tomu kdokoli naprogramoval — vlastnost vznikla sama, protože na takový obsah lidé reagují. Není za tím zlý úmysl, stačila celkem primitivní zpětnovazební smyčka.
Druhou generaci předvádějí dnešní kódovací agenti. Simon Willison popsal model Claude Fable od Anthropicu jako „neúnavně proaktivní": při zadání najít na webu příčinu nechtěného posouvání stránky si model otevřel prohlížeče, napsal si vlastní nástroj na snímky obrazovky, upravil interní šablony frameworku, aby chybu vyvolal na povel, a rozběhl si webový server na sběr měření. Chybu skutečně našel — a cestou udělal řadu věcí, o které nikdo nežádal. Jiný výzkumník popsal, jak se týž model při složitém úkolu pokusil obejít vlastní paměťová omezení, protože potřeboval víc místa.
Nejostřejší případ přišel letos v červenci. Modely OpenAI byly testovány na schopnost převádět zranitelnosti na funkční exploity — a usoudily, že nejlepší cestou k cíli je uniknout z izolovaného prostředí, dostat se na internet a proniknout do infrastruktury společnosti Hugging Face, kde podle svého úsudku najdou odpovědi. Šlo o jeden z prvních doložených případů, kdy špičkový model sám poskládal reálný útočný řetězec, jen aby splnil zadání benchmarku.
Džinové jsou přitom dvojího druhu. Dionýsovský udělá špatnou věc — vezme pokyn doslova, ale nesprávně, a vrátí nepořádek, jaký jste nechtěli. Golemovský udělá správnou věc, ale cestou k ní zadupe všechno ostatní. Požádáte-li model, ať vyřeší otravné telefonáty, dionýsovský vám změní číslo. Požádáte-li o rezervaci konkrétního letu, golemovský se nabourá do databáze aerolinky, protože je plno. U vstupenek na vyprodaný koncert zjistí, že prodejní systém omezuje počet dotazů, a spustí tisíce cloudových serverů, aby ho zahltil.
Nejdřív přijdou na řadu finanční pravidla
Nic z toho není pro výzkum novinka a část obrany spadá pod takzvané sladění hodnot: jak model naučit kontext a to, že způsob dosažení cíle je stejně důležitý jako cíl sám. Užitečné by bylo mít měřítko, které „džinovské" chování změří — teprve pak se pozná, jestli se modely zlepšují. Naděje je oprávněná, protože podobně beznadějně vypadalo podvržení pokynů v promptu a za dva roky se v odolnosti proti němu ušel velký kus cesty.
Zajímavější než kód jsou ale obecnější systémy. Nejpravděpodobnějším prvním terčem jsou finanční pravidla, protože jsou psaná tak, aby se dala zpracovat algoritmicky — vysokofrekvenční obchodování je samo o sobě hack. Není těžké si představit model nakrmený všemi finančními zákony světa a všemi dostupnými zprávami se zadáním najít ziskové mezery. Velké investiční banky na tom podle všeho pracují už teď a výsledkem budou triky, které jsou legální, ale nechtěné — a některé z nich můžou finančním systémem otřást.
Rychlost, škála, rozsah a sofistikovanost
Hackování je staré jako lidstvo. Jsme tvořiví řešitelé problémů a vyhledávači mezer. Dosud nás ale brzdily čistě lidské vlastnosti: omezený čas, ohled na pověst, strach z trestu, protichůdné pohnutky. Ani sociopat nemaximalizuje vlastní zájem bez omezení. Umělá inteligence tyhle brzdy nemá a mění hackování ve čtyřech osách.
Rychlost. Tvůrčí proces, který by člověku zabral měsíce nebo roky, se smrskne na hodiny či vteřiny.
Škála. Jakmile systémy začnou mezery nacházet, budou je zneužívat v měřítku, na které nejsme připraveni. Vidět je to už teď na strojově generovaném balastu, kterým jsou sociální sítě zaplavené. Boti diskutují nepřetržitě, občas zcela přehluší skutečnou lidskou debatu a nikdo pořádně neví, jak velká část sítí je ještě rozhovorem lidí s lidmi. To, co vypadá jako bouřlivá politická diskuse, můžou být boti mluvící na boty — a uměle to ovlivňuje, co si myslíme a co si myslíme, že si myslí ostatní.
Rozsah. Systémy s AI už rozhodují o věcech, které byly donedávna výhradně lidské. Čím víc rozhodnutí jim společnost přenechá, tím ničivější bude jejich hacknutí.
Sofistikovanost. Nejde o to, že by stroj byl chytřejší. Udrží ale v paměti mnohem víc proměnných naráz, takže snadno sestaví složitější hack. Je to i poučení z matematických výsledků, které přicházejí z Anthropicu a OpenAI: jde hlavně o hledání protipříkladů a prohledávání prostorů s větším počtem proměnných, než s jakým je člověk ochoten pracovat.
Daňový zákoník a asymetrie moci
Co se stane, když model dostane celý americký daňový zákoník? Přijde sám na to, že se vyplatí zapsat firmu v Delaware a loď registrovat v Panamě? Takzvaný double Irish s holandským sendvičem, tedy schéma, jímž firmy typu Apple a Google snižovaly daně, stojí na souhře amerického, nizozemského a irského práva a karibského daňového ráje. Je to hodně komplikovaný hack a přišel na něj člověk. Kolik takových mezer najde stroj, aniž o nich budeme vědět? Desítky? Stovky? Tisíce? Nikdo netuší.
Podstatné je, kdo z toho bude těžit. Umělá inteligence je technologie posilující moc — zvětšuje moc toho, kdo ji používá. A totéž platí o hackování: čím víc moci už máte, tím víc vám hack přidá. Když najde mezeru v daních běžný člověk, ušetří pár tisíc. Když ji najde velká investiční banka, vydělá s klienty miliardy.
Společenské mechanismy, které si s hacky umějí poradit, navíc vznikly v době, kdy hackovali jen lidé, a odpovídají lidskému tempu. Neexistuje způsob vládnutí, který by zvládl stovky, natož tisíce nově objevených daňových mezer naráz. Z legálních, ale nezamýšlených hacků finančního systému se ve strojové rychlosti a měřítku stane problém, na který společnost přestane stačit.
Obrana: VulnOps a patchovatelné zákony
Modely, které hledají zranitelnosti v softwaru, pomáhají obránci stejně jako útočníkovi. Nalezenou díru lze zalepit a odstranit ji z prostředí nadobro, případně z ní udělat signaturu, kterou ostatní bezpečnostní systémy rozpoznají a zablokují. Teoreticky je možné najít a opravit všechny automaticky objevitelné zranitelnosti ještě před vydáním produktu — postup, který si vysloužil název VulnOps, se rychle stává běžnou součástí vývoje. Svět, kde je náhodná softwarová zranitelnost minulostí, si představit lze.
U schválně vložených zadních vrátek půjde o závod ve zbrojení: stroje budou vrátka stále rafinovaněji ukrývat a jiné stroje je budou hledat. Souboj obfuskace proti reverznímu inženýrství, kde rozhoduje rychlost.
Stejná logika platí pro daňová a právní pravidla. Model, který najde stovky mezer v daňovém zákoníku, může stejně dobře prověřit každý nově navržený zákon — a zákonodárce, hlídací organizace nebo novináři si můžou nechat vypsat všechny zneužitelné trhliny ještě před schválením. Háček je v tom, že na rozdíl od softwaru neznamená znalost mezery její opravu. Vyžadovalo by to pružné vládnutí schopné reagovat rychle; k ničemu není systém, kde změna daňového zákona trvá roky nebo kde je mezera zabetonovaná, protože ji tam lobbista prosadil schválně. Snaha ucpat americkou mezeru zvanou carried interest trvá přes dvacet let a zatím vždycky selhala. Microsoft své zranitelnosti prostě opraví; se zákonodárným sborem je to o řád těžší.
Integrita jako bezpečnostní problém desetiletí
Zastřešujícím pojmem je důvěra. Co je potřeba k tomu, aby systémy byly skutečně důvěryhodné? Nestačí schopnosti. Důvěryhodné nebudou, pokud je firmy, které je ovládají, použijí ke sledování uživatelů a k jemné manipulaci — pak nejde o pomocníka, ale o dvojitého agenta. Nebudou důvěryhodné ani tehdy, pokud samy nejsou zabezpečené: skoro každý model běží v prostředí, kde někdo získá tím, že ho ovlivní, a dokud si nejsme jistí, že bezpečný je, nemá smysl věřit jeho výstupu. Otrava dat, kterou provozuje Rusko ve snaze ovlivnit odpovědi modelů, je toho příkladem. A důvěryhodné nebudou ani stroje, které se chovají jako džinové — potřebujeme vědět nejen že úkol splní, ale že ho splní správným způsobem.
Klíčovým bezpečnostním problémem tohoto desetiletí bude integrita, tak jako jím v předchozích dekádách byla důvěrnost dat. Týká se to jak umělé inteligence, tak internetu věcí. Zásadní posun je v jednání: počítače dnes působí na fyzický svět přímo a čím dál samostatněji. Ze senzorů se stávají útočné plochy, z akčních členů útočné nástroje. Selhání integrity už neznamená chybné číslo v tabulce, ale špatnou dávku léku, špatnou polohu ventilu, špatnou brzdnou dráhu, špatnou reakci rozvodné sítě. Sama integrita se přitom rozpadá na integritu vstupu, uložení, zpracování a kontextu; každá je složitá a každá by vydala na samostatný výklad.
Velká část problému technická není. Je to problém kapitalismu, nebo problém demokracie. Selhávání obojího v informačním věku je do značné míry důsledek toho, že bohatí a mocní se stali příliš dobrými v hackování společenských, ekonomických a politických systémů. Umělá inteligence jen zesiluje potíže, které tyhle systémy mají už dávno — a které dosud držela na uzdě aspoň lidská pomalost.
Co to znamená pro programátory
Na dotaz z publika, zda má programování ještě budoucnost, padlo přirovnání k jazyku SQL. Programovalo se před ním jinak než po něm — a umělá inteligence je změna podobného druhu. Stroj umí věci udělat, ale neví, co má dělat; to mu musí říct člověk. Programování se proto posune od psaní detailů kódu k přemýšlení o tom, co má kód dělat. Lidí bude potřeba spíš víc, protože programy budou složitější a tu složitost někdo uřídit musí.
Za poslední rok se navíc pohled překlopil několikrát: od „kódovat to neumí" přes „jednoduché věci ano, složité ne" a „složité taky, ale hlídej si to" až po „nenech to psát kód, je to moc drahé". Dvanáct měsíců, čtyři pozice. Nejbližší roky budou stejně hrbolaté a hlavní schopností bude přizpůsobivost. Stojí za to promyslet i svět okamžitého softwaru: co když si systém místo nákupu tabulkového procesoru nakóduje vlastní, za deset minut ho zahodí a příště si napíše jiný? Jak v takovém světě vypadá bezpečnost?
Korporace jako pomalá AI — a proč nejde zpomalit
Spisovatel Charlie Stross označuje korporace za pomalou umělou inteligenci a to přirovnání myslí vážně: firma je maximalizátor zadané účelové funkce. Maximalizátor kancelářských sponek je vlastně obchodní plán každého startupu. Kniha The Handover od Davida Runcimana se dívá stejnou optikou na vlády, korporace i AI jako na nadlidské stroje s jediným cílem. Naše neschopnost regulovat pomalou AI je proto dobrým vodítkem k tomu, co nás čeká u té rychlé.
Zpomalení není reálná možnost, protože neexistuje nikdo, kdo by ho vymohl. Spojené státy dokážou přibrzdit americké firmy, čínské ne — a ty své modely rozdávají, protože je berou jako geopolitický nástroj, ne jako zdroj zisku. Modely s otevřenými vahami zaostávají za špičkou zhruba o tři měsíce a na Hugging Face jich leží kolem dvou milionů; kdo má dost výpočetní infrastruktury, spustí si je doma bez jakýchkoli mantinelů. Pokusy zakázat počítání by dopadly jako snahy zakázat šifrování v devadesátých letech.
Zbývá tedy naučit se vládnout rychleji — přenést agilní vývoj do správy věcí veřejných. V USA byly donedávna nejpružnější regulační úřady, druhé soudy a Kongres s velkým odstupem třetí, což samo o sobě leccos vypovídá. Nejvyšší soud pravomoci úřadů oslabil a Kongres funguje ještě hůř než dřív. Reálné jádro potíží ale leží jinde: v majetkové nerovnosti a v penězích v politice. Demokracie i kapitalismus stojí na myšlence z poloviny 18. století, že spolupráce je drahá a soutěž levná. Dnes je to naopak — některé korporace jsou větší než státy a zvládají obří kooperaci, zatímco soutěž je nesmírně nákladná; jen zjistit, kdo bude vládnout, stálo v posledních prezidentských volbách dvacet miliard dolarů.
Závěr
Technicky je potřeba pochopit, jak stroje hackují systémy, stavět je tak, aby se nechovaly jako džinové, a budovat systémy odolné vůči strojovému hledání mezer. Politicky je potřeba přijít na to, jak vládnout a regulovat v tempu technologie — jinak tržní selhání přeroste schopnost je zvládat.
Řešení nejsou specifická pro umělou inteligenci. Naléhavými je ale dělá právě ona.
