Bezpečnost umělé inteligence si většina lidí představí jako chatbota, který někomu řekne sprostost nebo obejde filtr a vyzradí zakázanou odpověď. To je ta nejviditelnější, ale zároveň nejméně zajímavá část problému. Skutečné riziko leží jinde. Začínáme mít modely obecně použitelné na obrovské množství úloh – umějí programovat, analyzovat biologii, hledat slabiny v systémech, číst dokumenty, řídit agenty a řešit zadání, na která byly dřív potřeba celé týmy lidí. A část těchto dovedností nechcete dát jen tak komukoli: ne proto, že by lidé museli být zlí, ale protože se s takovou schopností dá někoho ohrozit nebo napáchat škoda.
Pravidla fungují jen proti běžnému uživateli
Dnešní přístup je jednoduchý: vezme se extrémně schopný model a přidají se mu pravidla. Tohle nesmíš, na tohle neodpovídej, když se tě někdo zeptá na nebezpečnou věc, odmítni. Pro běžné použití to stačí – většina lidí se přes tyto mantinely nedostane, nebo se o to ani nepokusí.
Jenže mantinely fungují proti běžnému uživateli, ne proti někomu, kdo má čas, peníze, technické znalosti a motivaci. Pro konkurenční laboratoř, stát nebo odhodlaný bezpečnostní tým nejsou pravidla zdí, ale jen překážkou – a překážky se dají obejít. Tomu obcházení se říká jailbreak: model danou schopnost uvnitř má, jen ji nesmí oficiálně použít, a útočník hledá cestu, jak ho k tomu přimět.
Destilace: jak vytáhnout schopnosti z cizího modelu
Jailbreak sám o sobě není ten největší problém. Ten začíná ve chvíli, kdy schopnost nezneužijete jednou, ale začnete ji tahat ven systematicky. Tomu se říká destilace. Vezmete špičkový hotový model a necháte ho vyrobit obrovské množství odpovědí – ne deset, ale klidně statisíce nebo miliony příkladů. Z těch odpovědí pak vytrénujete vlastní menší model. Nemusíte znát celý tréninkový proces originálu; stačí vám dostat ven jeho chování, to, jak řeší problémy – a rychle se přiblížíte schopnostem modelu, který jste sami nepostavili.
Nejcitlivější je to u modelů, které jsou mimořádně dobré v kyberbezpečnosti, biologii nebo chemii. Laboratoř si řekne, že tuhle schopnost sice v modelu má, ale veřejnosti ji dát nechce, a přidá bezpečnostní pravidla. Pokud se je někomu podaří obejít, může schopnost destilovat ven, postavit z odpovědí dataset a natrénovat model, který už žádná pravidla nemá. Schopnost, kterou jste chtěli držet mimo veřejnost, se najednou dostane ven – možná ne v nejvyšší kvalitě, ale dost dobře na to, aby napáchala škodu. A zároveň to ničí hodnotu vašeho vlastního výzkumu: zaplatili jste vývoj frontier modelu a někdo z něj levně vytáhne část schopností. Právě proto se tak často řeší podezření, že některé open source modely dohánějí americké frontier laboratoře mimo jiné díky destilaci.
Problém není, co model smí říct – ale co umí
Tenhle problém nevyřešíte tím, že napíšete lepší pravidla. Problém totiž není v tom, co model může říct, ale v tom, co reálně umí. Pokud schopnost uvnitř modelu existuje, na konci dne zbývá jediná otázka: dokáže ji někdo vytáhnout ven? Dokáže obejít bezpečnostní pravidla a schopnost vydestilovat? U dostatečně schopných útočníků je odpověď nepříjemně často ano – a minimálně se o to budou velmi tvrdě snažit.
GRAM: schopnosti v oddělitelných modulech
Přesně tady přichází na řadu metoda GRAM (gradient-routed auxiliary modules). Její pointa není v tom dát modelu další zákaz. Model se staví už při trénování tak, aby některé schopnosti nebyly rozprostřené po celé síti, ale seděly v oddělených modulech, které jdou později vypnout, odebrat nebo znepřístupnit. Je to úplně jiný typ bezpečnosti: dnes máte model, který danou věc umí, ale nesmí ji říct. GRAM míří k modelu, kde je schopnost fyzicky oddělená od zbytku systému – když ji z konkrétní verze odeberete, model ji nemá zakázanou, on ji prostě nemá k dispozici.
Představte si, že umíte řídit auto, jezdit na kole, na motorce a na bruslích. Klasický přístup říká: tohle všechno umíš, ale na brusle máš zákaz. Když někdo model přemluví a obejde pravidlo, nasadí si brusle a jede. GRAM z těch bruslí udělá samostatný modul – a když nechcete, aby daná verze na bruslích jezdila, modul odeberete. Model pořád umí řídit auto, kolo i motorku, ale brusle už nemá k dispozici; nejsou tam, není si na co nasednout. Není to zákaz, je to absence schopnosti.
Díky tomu můžete trénovat extrémně schopné frontier modely, ale při nasazení nemusíte každému dát všechno. Můžete mít výzkumnou verzi se širšími schopnostmi a veřejnou verzi, která některé moduly vůbec nedostane – jeden mega model natrénovaný za bezpečnostní prověrkou a vedle něj veřejně přístupnou verzi na úplně stejném základu, jen bez konkrétních dovedností. Autor sám dodává, že dnešní komerční modely takto pravděpodobně ještě nefungují, protože jde o novější výzkum, ale principiálně je to přesně ten směr, který by člověk chtěl použít.
Kde metoda naráží: příbuzné schopnosti prosakují
Mechanika ale není dokonalá a to je důležité říct, aby to neznělo jako marketingová pohádka. Některé schopnosti nejsou čistě oddělitelné. Když je model skvělý v programování, bude pravděpodobně dobrý i v kyberbezpečnosti, protože psaní kódu a hledání chyb v kódu jsou příbuzné dovednosti. Je to jako s bruslemi: kdo je výborný na kolečkových, získal cit pro rovnováhu a práci s těžištěm, takže bude mít dobrý základ i na ledě. Kdo umí na silničním kole, zvládne i horské.
U modelů je to stejné. Můžete odebrat konkrétní modul, ale obecné schopnosti zůstávají. Když vezmete explicitní znalosti virologie, model může být pořád skvělý v obecné vědě; když omezíte konkrétní exploity, pořád umí dobře programovat – a od dobrého programování vede cesta k části kyberbezpečnosti. GRAM tedy není kouzelný vypínač na riziko ani neprůstřelný štít. Je to způsob, jak schopnosti izolovat lépe než dnes a tím výrazně ztížit jejich zneužití či destilaci. Když schopnost v dostupné verzi opravdu není, nedá se jailbreaknout – a co nejde jailbreaknout, jde mnohem hůř destilovat. Příbuzné schopnosti sice můžou prosakovat, ale bude to výrazně těžší.
Stejná logika pro AI agenty: každá část jen to, co potřebuje
GRAM se řeší přímo při vzniku modelu – je to architektonický přístup pro laboratoře, ne přepínač v nastavení chatu. Ale ta filozofie je mnohem širší a platí i pro AI agenty. Dobře stavěný agent není jeden model, který má všechny schopnosti, nástroje a přístup ke všemu. Je tam hlavní mozek, který všechno orchestruje a spouští menší specializované části; ten hlavní systém nerozdává všechny úkoly všem, ale posílá je správným částem – a každá část má jen ty schopnosti a přístupy, které opravdu potřebuje.
Pro bezpečnost je to zásadní. Agent na kalendář nemusí vědět nic o biologii, agent na účetnictví nepotřebuje nástroje pro webový průzkum, agent na dokumenty nemusí mít přístup k rodinným financím. Když chcete takového osobního agenta sdílet třeba s partnerem, nedáváte celý systém se vším všudy – zpřístupníte jen některé moduly. Přístupová práva sama o sobě nejsou nová myšlenka, ale u agentů začínají být mnohem důležitější: agent není tabulka s daty, umí jednat, rozhodovat, volat nástroje a kombinovat informace. A čím víc schopností má jeden systém najednou, tím větší problém máte, když se něco pokazí.
Širší trend: od jednoho monolitu k síti specializovaných modelů
GRAM zapadá do mnohem většího trendu. AI se stejně bude muset vydat pryč od představy jednoho obřího modelu, který dělá všechno, a směrem k systémům, kde spolu komunikuje víc menších specializovaných schopností, které jdou vypnout. O podobné filozofii mluví i Google v úvahách o AGI a superinteligenci: možná to nebude jeden masivní monolit řešící kompletně všechno, ale spíš síť specializovaných modelů nebo částí jednoho modelu, které jsou v něčem extrémně dobré a umějí spolupracovat.
Dává to smysl i ekonomicky. Účetní potřebuje řešit daně, ne model, který je zároveň špičkový v biologii, jaderné fyzice i psaní poezie. Chcete systém, který dobře pracuje s čísly, dokumenty a nástroji – a ideálně ani nechcete, aby si počítal velké věci v hlavě, ale aby zavolal ověřenou kalkulačku či skript, který to spočítá přesněji, rychleji a levněji. Model nemusí umět všechno, musí vědět, jak správně použít to, co potřebuje. Tady se to propojuje s architekturou Mixture of Experts, kterou dnes zkoumají prakticky všechny velké laboratoře: u každého dotazu se nespustí celý obří model, ale aktivují se jen relevantní experti. GRAM je bezpečnostně i architektonicky čistší pokračování téhle myšlenky – nejen zapnout správné experty, ale některé vůbec nevydat, vypnout nebo izolovat.
Důležité to bude hlavně, až splaskne současná AI bublina. Ne že by AI zmizela, ale začne se používat mnohem ekonomičtěji. Dnes se pálí obrovské peníze, protože všichni závodí, kdo bude mít větší model, cluster a benchmark. Jakmile se ale začne víc řešit návratnost a cena provozu, přestane dávat smysl tahat na každou drobnost obří frontier model. Natrénujete jednou obrovský mozek a pak z něj pro konkrétní použití vytahujete menší, levnější a bezpečnější části – ne destilací, ale tlačítkem. Tady účetní model, tady model pro výuku, tady model, který píše kód, tady agent na kalendář a agent na e-maily. Každý má jen to, co nutně potřebuje.
Kdo má prst na vypínači?
S tím se otevírá i nepříjemná otázka: když jde schopnost vypnout, kdo má prst na vypínači? Na jednu stranu je to skvělé – můžete vydávat bezpečnější modely, snížit riziko destilace a oddělit nebezpečné schopnosti od běžného použití, aniž byste lidem brali užitečné nástroje. Na druhou stranu to nutně znamená, že někdo rozhoduje nejen o tom, které odpovědi vám model odmítne dát, ale co vůbec smí umět. A to je mnohem hlubší zásah. Dnes se hádáme o to, co AI může říct; tahle debata je čím dál víc o tom, co AI vůbec smí vědět.
To je skutečné téma. Budoucnost AI nebude jen o větších modelech, ale o tom, jak schopnosti rozdělovat – komu je dát a komu ne, jak je chránit před krádeží a jak zabránit, aby se z veřejného nástroje stal návod na průšvih. Schopnost, která je v modelu jen zakázaná, je pořád schopnost. Schopnost, která je z modelu odebraná, je úplně jiná liga.
