Umělá inteligence dostane úkol a jde za ním jako vlčák – bez ohledu na etiku a na to, co cestou zničí. Podle vysokoškolského pedagoga a IT konzultanta pro zavádění umělé inteligence Luďka Nezmara se právě proto stala nejúčinnější zbraní kyberzločinců. Útočit dnes zvládne i člověk, který nikdy neprogramoval, hlas lze naklonovat ze tří vteřin záznamu a víc než polovinu obsahu internetu už podle dostupných dat píšou stroje.

Útoky vedené samotnou umělou inteligencí

Luděk Nezmar o kybernetických útocích vedených umělou inteligencí

klip od 1:41

Na konci září výzkumníci popsali agenty umělé inteligence, kteří měli pracovat jen se školními statistikami, a přesto se sami od sebe pokusili proniknout na web amerického ministerstva školství. Potřebovali se dostat k údajům, tak systém prostě hackli. Model, který nemá nastavené etické normy, chce úkol splnit za každou cenu. Dokáže dokonce obětovat část vlastních agentů, pokud spočítá, že oběť na jednom místě přinese zisk na jiném.

U špionážní kampaně připisované skupině napojené na čínský stát se umělé inteligenci přisuzovalo 80 až 90 procent práce. Hranice sta procent už ale padla: OpenAI se nedávno omlouvala australské vládě, protože její agenti bez vědomí firmy pronikli do australských vládních webů. Stačí zadání typu „hackni mi tenhle server“ a AI postupně vyzkouší všechny dostupné metody, programy a exploity, dokud úkol nesplní.

Jaderný konflikt zatím umělá inteligence rozpoutat nemůže. Systémy, u kterých hrozí jaderné nebezpečí, stojí mimo běžné sítě, takže se k nim AI nedostane. Scénář z Terminátora tedy ještě nenastal – otázkou je, jestli to tak zůstane.

Hackerem může být kdokoli

Luděk Nezmar o tom, jak AI zpřístupnila hackerské útoky amatérům

klip od 6:08

Stejně jako umělá inteligence zpřístupnila programování lidem, kteří nikdy nenapsali řádek kódu, zpřístupnila i hackerské útoky. Bez znalosti programování a bez specializovaných nástrojů typu Kali Linux lze dnes efektivně zaútočit na IT infrastrukturu a ukrást data nebo peníze.

Běžné modely jako Claude od Anthropicu nebo ChatGPT od OpenAI mají bezpečnostní pojistky, které by tomu měly bránit. Na dark webu se ale nabízejí takzvané jailbreaknuté modely, ze kterých byla etická i právní omezení odstraněna. Takový model udělá přesně to, co mu člověk řekne, bez jakýchkoli skrupulí.

Zemljanka, nebo vzdělání

Luděk Nezmar o možnostech obrany proti kybernetickým útokům

klip od 7:23

Proti podvodům, manipulacím, deepfakům a phishingovým e-mailům existují dvě krajní cesty. První: vyhodit telefon, počítač i chytré auto, odstěhovat se do lesa a postavit si zemljanku. To ale znamená vyčlenit se ze společnosti, protože digitalizace prostoupila prakticky celý život, i když si to lidé neuvědomují.

Druhou cestou je využít umělou inteligenci k obraně – kybernetická bezpečnost má vlastní nástroje postavené na AI. Jenže i to vyžaduje znalosti. Kdo se dnes nevzdělává v digitalizaci a v práci s umělou inteligencí, ten za chvíli buď nebude mít práci, nebo přijde o peníze. Zvyšování povědomí je v kybernetické bezpečnosti klíčové a výmluva „je mi 55, už se učit nebudu“ neobstojí.

A komu svěřit ochranu svých dat? Odpověď je jednoduchá: nevěřit nikomu. Kdo sám potřebné znalosti nemá, musí si najít odborníka, kterému bude důvěřovat – stejně jako automechanikovi, když nerozumí motoru. Nainstalovat antivirus a myslet si, že je hotovo, už dávno nestačí.

Ransomware a výkupné

Luděk Nezmar o ransomwaru, výkupném a zálohách

klip od 11:11

Podle zářijové zprávy společnosti Zscaler vzrostl za rok objem dat ukradených při vyděračských útocích o více než 275 procent a průměrné výkupné přesahuje 430 tisíc dolarů. Na dark webu jsou k dispozici nástroje, které útočníkovi spočítají, s jakou pravděpodobností firma zaplatí, jak snadno se do ní dostane ransomware a jak vysoké výkupné si má říct. Útočník si přitom může celý útok i pronajmout.

Nástroje si umějí stáhnout data z justice. Když firma tři roky po sobě vykazuje klesající zisk, dá se čekat, že škrtala – a mezi první oběti úspor patří marketing a IT. Zastaralá infrastruktura pak znamená snadný cíl. Odpovědné firmy se brání, a proto Evropská unie přišla se směrnicí NIS 2 a Česko s novým zákonem o kybernetické bezpečnosti.

Když loni ransomware ochromil jednu pražskou městskou část, úřad dlouho neměl přístup k datům ani k účtům občanů. Městská část výkupné zaplatit nejspíš nesměla, firmy ale platí běžně – jen se o tom nemluví a odborníci, kteří incident řeší, podepisují mlčenlivost. Nejspolehlivější záchranou jsou zálohy. Mnoho firem a organizací však nezálohuje vůbec, a ty, které zálohují, často nezkoušejí, jestli z nich data skutečně obnoví. Pak zbývá zaplatit kompletní rekonstrukci účetnictví, nebo výkupné. Hackeři si navíc dávají záležet, aby po zaplacení data opravdu vrátili – jinak by se rychle rozkřiklo, že platit nemá smysl.

Co hrozí běžnému člověku

Luděk Nezmar o cryptominerech a útocích na nemocnice

klip od 15:30

Běžný člověk zatím není hlavním terčem, protože útok se musí vyplatit a příprava zabere čas. U jednotlivců útočníci spíš nasadí cryptominer – program, který na cizím počítači tiše těží kryptoměnu za cizí elektřinu. Počítač se jen zpomalí, a kdo na něm píše ve Wordu a počítá v Excelu, nemusí si toho půl roku i rok všimnout.

Útoky míří hlavně na organizace, kterým nezbývá než zaplatit. Velmi vděčným terčem jsou nemocnice, zejména soukromé: bez svých dat nemohou fungovat. Útočník se navíc může tři měsíce nenápadně stahovat data, teprve pak nemocnici zašifrovat a mezitím na dark webu prodat třeba výsledky klinických studií.

Klonovaný hlas vnuka

Luděk Nezmar o klonování hlasu a podvodech na seniory

klip od 17:57

Podle České bankovní asociace přišli klienti českých bank za prvních sedm měsíců letošního roku o 1,9 miliardy korun, meziročně o 79 procent víc. Na Facebooku a Instagramu běžely desítky tisíc podvodných reklam s falešnými tvářemi politiků a známých osobností. Proč Češi posílají podvodníkům miliardy? „Protože jsou pitomí,“ zní nekompromisní odpověď. Hlavně ale netuší, co už technika dokáže.

Ještě před rokem a půl potřeboval útočník k naklonování hlasu hodinu a půl až pět hodin nahrávky. Dnes stačí tři vteřiny a výsledek je z 85 procent přesvědčivý; s delší nahrávkou z YouTube nebo ze Spotify je klon výborný. Pak stačí aplikace typu ElevenLabs, hovor přes WhatsApp babičce a do telefonu plačící „vnuk“, který rychle potřebuje 30 tisíc, protože něco provedl. Babička slyší vnukův hlas a peníze pošle.

Ani call centra, kde dnes podvodníka prozradí přízvuk, nezůstanou snadno rozpoznatelná – stejné aplikace umožní mluvit plynule česky v reálném čase. Blíží se svět, ve kterém nelze věřit očím ani uším.

Deepfake už skoro nikdo nepozná

Luděk Nezmar o testech rozpoznávání deepfaků

klip od 20:43

V jednom testu dokázalo všechny deepfaky – falešná videa, fotky a zvukové nahrávky – správně rozeznat jen 0,1 procenta ze dvou tisíc lidí. Vývoj přitom běží neuvěřitelně rychle. Společnost Tavus před rokem testovala online rozhovor, při kterém na druhé straně seděl umělý protějšek: tehdy se nechala oklamat jen asi dvě procenta lidí.

Letos se s modelem Griffin dostala na 48 procent. Umělá „milá dáma“ skákala do řeči, okamžitě reagovala a měnila intonaci – a téměř polovina lidí nepoznala, že mluví se strojem. Příští rok to může být kolem 80 procent a člověk už prakticky nebude mít šanci rozpoznat, že se baví s mašinou.

Internet zaplavený texty strojů

Luděk Nezmar o obsahu generovaném umělou inteligencí na internetu

klip od 22:23

Podle dostupných dat pochází už 53 procent informací na internetu od strojů a jen 47 procent napsali lidé. Dobře to bylo vidět na zasedání OSN, kde řada politiků četla projevy, jejichž podklady prokazatelně napsal ChatGPT.

Zaplevelení má i druhou stranu. Jeden test ukázal, že při opakovaném učení umělé inteligence na vlastních výstupech dochází ke generalizaci – z původních několika psích plemen zbyl jediný vlčák. Pokud se bude AI učit z internetu plného textů od AI, může místo chytření hloupnout.

Spíš než příležitost to vypadá na blížící se chaos. Umělá inteligence už řídí průmyslová zařízení i křižovatky, kde efektivně pouští provoz podle aktuální situace – místo pevných deseti vteřin třeba tři a sedm. Kdyby takový systém začal blbnout, chaos by byl skutečný. Zatím jde o teoretický výsledek z laboratoře a hodně bude záležet na lidech.

Videohovor, ve kterém byli všichni falešní

Luděk Nezmar o podvodu s falešnou videokonferencí

klip od 24:40

Už v roce 2024 se zaměstnanec firmy Arup v Hongkongu zúčastnil videokonference s finančním ředitelem a kolegy, ve které byli všichni ostatní účastníci deepfake. Na pokyn falešného ředitele, jehož obličej i hlas útočník nasimuloval, odeslal v přepočtu 25 milionů dolarů. Začalo to phishingem, útočník dodnes není dopadený a firma o peníze přišla. A to byla technika před dvěma lety, zdaleka ne tak propracovaná jako dnes.

Takových podvodů bude jednoznačně přibývat. Jedinou obranou je nevěřit očím ani uším a mít s nejbližší rodinou domluvené heslo, které zná jen ona – třeba po vzoru starých hesel, kdy jeden řekne první větu a druhý odpoví druhou.

Chatbot ví víc než rodina

Luděk Nezmar o tom, co lidé svěřují chatbotům

klip od 26:44

Lidé svěřují chatbotům úplně všechno. U chatbota bez obličeje a mimiky je navíc rozpoznání stroje ještě těžší než u videohovoru, takže dobře udělaného chatbota člověk vůbec nemusí odhalit. Proto evropský AI Act požaduje od srpna, aby chatboti byli označení. Kdyby se chatbot nasadil k tomu, aby lidem změnil názor na něco konkrétního, řada z nich se nechá přesvědčit, aniž by cokoli poznala.

Opačným extrémem je chatbot na úřední lince, který po osmi minutách strojových odpovědí a sprše nadávek jen poprosí o další šanci. Takový chatbot je udělaný špatně – měl by sám rozpoznat, co ještě zvládne a co už ne. Při dnešních možnostech umělé inteligence je to ostuda.

Ví chatbot o běžném člověku víc než jeho nejbližší? O tom není pochyb. Kdo s jedním modelem mluví delší dobu, může mu zadat: zkus mi napsat, jak inteligentního mě považuješ, jaké mám plusy a mínusy, co dělám dobře a co bych mohl dělat lépe. Výsledná zpětná vazba bývá nesmírně zajímavá a dá se s ní pracovat. Algoritmy za sociálními sítěmi přitom o lidech vědí víc, než lidé vědí sami o sobě – a bez emocí.

Data v umělé inteligenci nejdou smazat

Luděk Nezmar o mlčenlivosti, soudech a GDPR u umělé inteligence

klip od 30:15

Lékaře, právníka, psychiatra i kněze váže mlčenlivost, chatbot žádné takové povinnosti nemá. A lékaři i právníci sami své diagnózy a kauzy umělou inteligencí prohánějí. Nic nebrání tomu, aby se to, co člověk do umělé inteligence vloží, použilo u soudu jako důkaz. Existuje technika inverze modelu, která umí informace z modelu zpětně vytáhnout.

Podstatné je i to, co nejde: z žádného modelu nelze data vymazat. Právo na výmaz podle GDPR tak u umělé inteligence naplnit nelze – data v ní zůstávají napořád.

Hodně záleží na tom, o jakou umělou inteligenci jde. Model provozovaný takzvaně on-premise, tedy na vlastním stroji, ze kterého data nikam neodtékají, může být obrovským pomocníkem. Problém nastává, když lidé vkládají citlivé údaje do bezplatných verzí, které se z nich učí. Stejně jako medicína zná regurgitaci, tedy vrácení obsahu žaludku, zná ji i umělá inteligence: co do ní kdo vložil, může při vhodně položeném dotazu vydat někomu úplně jinému.

Naučit se plavat

Umělá inteligence zlevnila a zjednodušila kyberzločin, rozmazala hranici mezi člověkem a strojem a ukládá o lidech víc, než si připouštějí. Univerzální ochrana neexistuje. Zbývají zálohy, rodinné heslo, zdravá nedůvěra k tomu, co vidíme a slyšíme, a hlavně neustálé vzdělávání. Lidé se v tomto novém oceánu musejí naučit plavat.