Zatímco OpenAI a Anthropic bojují o korunu v cloudu, Google tiše obsazuje místo, kam cloud nikdy nedosáhne — váš počítač, telefon nebo server na dílně bez internetu. Modely Gemma 4 a DiffusionGemma se vejdou do jednoho gigabajtu (respektive na běžnou grafickou kartu), běží lokálně a pro většinu firemní rutiny stačí. Marginální segment, který může za dva roky překreslit celý trh.
Závod mezi cloudem a lokálními modely
OpenAI a Anthropic dneska mezi sebou bojují o to, kdo má nejchytřejší model. Google v tomhle souboji vypadá v posledních týdnech trochu pozadu, hraje ale ještě jednu hru. Zatímco ostatní lákají firmy do cloudu, Google tiše obsazuje místo, kam cloud nikdy nedosáhne — váš počítač, telefon nebo server na dílně, který nesmí ven do internetu. Bez měsíční faktury, bez toho, aby data opustila budovu. Dneska to vypadá jako marginální segment, za dva roky to ale může být ten nejdůležitější trh v celém průmyslu. Dominance Googlu v lokálních malých AI modelech stojí na dvou rodinách: Gemma 4 a DiffusionGemma.
Test, který lokální model totálně nezvládl
Na Redditu se objevil zátěžový test postavený pro DiffusionGemmu, který ji postavil tváří v tvář klasickému velkému cloudovému modelu. Úkol byl naprosto banální: napsat životopis Steva Jobse a shrnout historii Tetrisu — věci, které by jako levou zadní vyřešila i obyčejná encyklopedie. Velký cloudový model prošel bez ztráty kytičky. DiffusionGemma nasekala skoro 60krát víc věcných chyb.
Trefila 33 faktů správně, dalších 28 si ale kompletně vycucala z prstu. Nešlo o drobné nepřesnosti nebo zaokrouhlovací úlety — model regulérně halucinoval jak na houbách. Vymyslel Stevu Jobsovi matku jménem Clara Cleary, tvůrcům Tetrisu přibásnil fiktivního kolegu a starý počítač nacenil na necelých 10 000 dolarů, ačkoli historicky stál nějakých 1 600 dolarů. Klasický malý lokální model, který s kamennou tváří a stoprocentním sebevědomím tvrdí totální nesmysly.
Otázka tedy je: proč by k čemukoli důležitému někdo takový model pouštěl? Odpověď je v tom, že věci, ve kterých selhává, vůbec nejsou ty, které po něm reálná firma chce.
Lokální model = světová špička z minulého roku, zabalená do krabičky
Tyhle malé lokální modely jsou dneska zhruba na úrovni, na které byla světová špička před rokem, možná před rokem a půl. Zní to jako kritika, dokud si neuvědomíte, co to znamená. Před rokem už nejlepší modely na světě překopávaly byznys od podlahy. Ta schopnost se nevypařila jen proto, že se technologická špička posunula zase o dům dál. Jen se zkomprimovala a zlevnila prakticky na nulu.
Co bylo pro firmy před rokem tím hlavním tmelem? Nebylo to právnické kličkování ani vymýšlení nových vědeckých teorií. Byla to monotónní, strukturovaná práce: chroustání tlustých dodavatelských smluv, odpovídání na základní dotazy z interních směrnic, přepisování textu z fotek ručně psaných dodáků nebo naskenovaných hlášení, poslouchání porad na dílně a vytahování úkolů do čistého reportu pro další směnu.
Před rokem byl takový výsledek pro většinu firem zjevení. Ta síla nezmizela — jen je teď zabalená do balíčku, který se nastěhuje do krabičky na stole, běží na vlastním železe a nestojí ani korunu měsíčně. Automatický přepis klikyháků z terénu znamená desítky ušetřených hodin lidské práce týdně. Vynásobte to týmem a 52 týdny v roce a vyjde číslo, které pohne rozpočtem.
Pointa malých modelů není v tom, že nahradí ředitele. Je v tom, že se zbavíte té nejhorší rutiny — té špinavé práce. A v ní jsou lokální modely kovaní profíci.
Strukturální změna: kdo tu inteligenci vlastní
V tomhle bodě přestává být lokální provoz jen o penězích. Mít model u sebe je strukturální změna v tom, kdo tu inteligenci vlastní a ovládá a jak moc můžete ukázat záda technologickým gigantům, na kterých momentálně visíte.
Lokální provoz znamená, že AI žije do posledního bajtu na zařízení, které fyzicky držíte v ruce. Je stažená v mobilu, notebooku, Mac mini nebo na nějaké mašině v kanceláři. Ani kousek toho, co zadáte, se nedotkne cizího serveru. Žádné aplikace nezvedají hovor do datových center v Holandsku, Německu nebo Americe. Firemní data prostě budovu neopouštějí.
Informace o klientech zůstávají na vašich discích a neexistuje žádné počítadlo, které by s každým dotazem zvedalo měsíční předplatné. Za hardware zaplatíte jednou — a pak vás model obsluhuje, když ne věčně, tak fakt hodně dlouho. Pro právnickou firmu listující v citlivých spisech nebo pro kliniku se zdravotními kartami pacientů to není příjemný bonus, ale často jediná legální cesta. A všechno závisí na jedné jediné dovednosti: rozpadnout vlastní práci na dostatečně malé krůčky, aby je ten malý model dokázal udělat.
Jak se obří model vejde do gigabajtu: QAT a chytrý knihovník
Otázka tedy je, jak komplexní AI nacpat do laptopu nebo malého počítače, když to ještě před rokem a půl vyžadovalo obří server. Klíč se jmenuje QAT — quantization aware training, tedy trénování s vědomím následného ořezání.
Obrovský kus paměti modelů spolknou takzvané vyhledávací tabulky slovníku — lexikon, podle kterého model chápe a skládá slova. Každý výraz má v této tabulce svůj číselný kód a tyhle seznamy rostou závratným tempem. Google na to nasadil kompresní dietu už při trénování. Smrsknul tokenové embeddingy, tedy ten slovník, na pouhé dva byty. Na první pohled to zní, jako by museli z modelu udělat úplného idiota. Hlavní mozkové laloky — skutečné matematické váhy, které spojují myšlenky a drží logiku — ale nechali běžet na mnohem vyšší a přesnější vlně.
Představte si obří vědeckou knihovnu. Vzali nekonečně dlouhé kartotéky a celé je digitalizovali — zmenšili je na zlomek původního místa, protože flashka je menší než knihovna. Vysoce vzdělaného knihovníka ale nechali sedět u stolu přesně tam, kde byl. Pořád ví, kam má sáhnout pro co a jak spolu věci souvisejí. Index nezabírá skoro nic, ale odbornost zůstala blízko stoprocentní.
Díky téhle kompresi se podařilo smrsknout Gemmu 4 na 2 miliardy parametrů a velikost zhruba jednoho gigabajtu — menší než video, na které se právě díváte. Je to citelně hloupější než cloudové bestie, ale na lokální filtraci inboxu, přepis hlasu, pochopení úkolu nebo ovládání chytrých firemních zařízení to úplně stačí.
Dělba práce: cloud navrhuje, lokál exekvuje
Tím nikdo neříká, že máte zahodit předplatné na cloud a všechno dělat lokálně. Zásadní rozdíl je mezi tím, čím systém navrhujete a kde ho chcete provozovat. Když si stáhnete dvoumiliardový model a pustíte ho na svoji firmu, nebude jako mávnutím proutku vědět, jak funguje váš byznys, jaké máte interní výjimky nebo jak se správně posílají maily.
Abyste postavili užitečnou automatizaci — nástroj, který reálně rozumí firemním směrnicím, ví, co dělat, když zákazník chce vrátit peníze po třicetidenní lhůtě, a bezpečně nasměruje dotaz dodavatele na správný stůl — potřebujete velký těžkotonážní cloudový model. Tuhle fázi prostě neokecáte. Kdybyste se pokusili poskládat firemní proces o deseti krocích čistě na dvoumiliardovém lokálním modelu, rozsype se vám to pod rukama. Začne halucinovat mezi kroky, špatně pochopí nejednoznačné zadání a vyhoří na první nestandardní situaci.
Cloud ale potřebujete jen na pár hodin nebo dnů, kdy systém designujete. Drahý našlapaný model vám napíše kód, nastaví logiku, propojí automatizační potrubí a otestuje chytáky. Jednorázový náklad. Jakmile je aplikace hotová a schválená, každodenní rutinu kompletně přebírá ten malý lokální model. Cloud splnil svou povinnost a může jít domů.
Je to jako stavba mrakodrapu. Špičkový architekt budovu navrhne, spočítá statiku, rozkreslí, kudy povede každý drát a trubka. Jakmile barák stojí, nebudete přece tomu architektovi platit hodinovku za to, že vám bude zhasínat na záchodě. Architekt systém vymyslí jednou — systém pak běží sám.
Gemma 4 12B: unifikovaná architektura bez prostředníků
Co když jste ale moderní podnikatel, který sedí v kavárně s kafem a chce vlastního offline asistenta — něco, co projede schránku, roztřídí smlouvy, poskládá kalendář a vytáhne závěr o tom, co ho čeká příští týden? V tu chvíli přichází na scénu Gemma 4 s 12 miliardami parametrů.
Tahle větší verze přináší takzvanou unifikovanou architekturu bez samostatných enkodérů. Normálně, když chcete po jazykovém modelu zpracovat obrázek — třeba fotku účtenky nebo naskenovaný dodací list — nebo aby si poslechl audio, potřebuje k tomu speciální prostředníky, takzvané enkodéry. Fungují jako překladač: vezmou obraz nebo zvuk a překlopí ho do řeči čísel, kterým rozumí textový model. Jenže každý takový překladač žere paměť a přidává čas k odezvě.
Gemma 4 12B tyhle prostředníky škrtá. Zvuk i obraz tečou rovnou do hlavního mozku modelu. Zpracování je rychlejší, kód je čistší a v systému je méně součástek, které se mohou rozbít. Tenhle model umí běžet lokálně na notebooku s 16 GB sdílené paměti — a kontextové okno má 128 až 256 tisíc tokenů, což je víc, než mělo cloudové ChatGPT 4 před rokem.
Z kanceláře do haly: lokální AI v terénu
Pojďme do terénu — do výroby. Máte hlučnou tovární halu, wifi, která každou chvíli padá, nebo internet, který tam z bezpečnostních důvodů ani být nesmí. Předávání směny je jeden z nejvíc opomíjených momentů, kde lokální AI dokáže ušetřit mraky práce.
Každý den musí mistr končící směny nahlásit nástupci, co se právě dělo, co se podělalo a na co si dát bacha. Psát to ručně do počítače je opruz a lidé spoustu věcí vynechávají, zvlášť když pospíchají domů nebo jsou po noční vyšťavení. V cloudu si v případě potřeby předem postavíte šablonu s velkým modelem — definujete, jak má zápis vypadat, co jsou klíčové body a jaké úkoly označit za urgentní. Tuhle inteligenci pak nahrajete do levné offline krabičky přímo na dílně, která jede na Gemmě 4.
Modely Gemma 4 mají zpracování zvuku zadrátované přímo v sobě. Rozpoznávání řeči funguje spolehlivě i v hlučném industriálním kraválu a kompletně offline. Mistr namluví report do krabičky, lokální model řeč přetaví do textu, srovná do přehledných bodů a sám uloží, kam patří. Postaveno jednou, funguje to navždy, lokálně a v podstatě zadarmo.
Rychlost: hardware i software táhnou za jeden provaz
Lokální modely mají smysl jen v okamžiku, kdy jsou dost rychlé, aby stíhaly lidské pracovní tempo. Pokud byste tři minuty čekali, než vám lokální model vyplivne prostou odpověď na e-mail, raději si ten e-mail napíšete sami. Čas strávený čekáním sežere všechnu úsporu, kvůli které jste do toho šli.
Aby se tahle mezera smazala, táhne hardware i software za jeden provaz. Pokud jde o hardware, NVIDIA nedávno vytáhla formát NVFP4 — čtyřbitovou plovoucí řadovou čárku. Bez složité matematiky kolem přesnosti čísel to v praxi znamená jediné: tyhle modely teď dokážou běžet na běžných grafických kartách, jaké si koupíte v každém elektru, jako je RTX 4090, a to s brutální rychlostí bez viditelné ztráty kvality. Železo, které si dnes pořídí normální smrtelník, začíná tahat lokální modely tak rychle, že odpověď působí okamžitě.
Multitoken prediction: nahrávač, který tipuje slova dopředu
Google ale nečeká, až výrobci čipů spasí svět. Vzal do ruky architekturu samotného softwaru. První softwarový trik se jmenuje multitoken prediction (MTP) — předpovídání více slov najednou.
Klasické jazykové modely sázejí jedno slovo za druhým pěkně po pořadě, zleva doprava — což je ze své podstaty pomalé. MTP do hry pouští sekundární model rychlého nahrávače. Je to ultralehký model, jehož jediná práce je tipovat dopředu, jaká čtyři nebo pět slov budou následovat, než tam hlavní mozek vůbec stihne dorazit. Tipování nestojí skoro žádný výpočetní výkon, ale ověření hotového tipu hlavním modelem je strašně rychlé. Nahrávač vyplivne pár variant, hlavní model je v jednom zátahu zkontroluje a nemusí každé slovo stavět na zelené louce. Pokud se nahrávač trefil, hlavní model celý blok textu odsouhlasí v milisekundě.
Je to jako kdybyste dali juniorovi v kanceláři za úkol připravit e-mail. Šéf mu nediktuje každou čárku — podívá se na draft, proletí ho očima a buď ho podepíše, nebo opraví chybu. Podle měření tenhle paralelní způsob ověřování zrychluje provoz až trojnásobně, a kvalita textu neutrpí ani ochlup — finální razítko dává pořád ten samý velký model.
DiffusionGemma: sochař místo psacího stroje
Druhá softwarová vychytávka — DiffusionGemma — obrací logiku skládání slov úplně naruby. Vychází z dlouhotrvajícího experimentu Gemini Diffusion a nově je dostupná i lokálně.
Běžné jazykové modely fungují jako psací stroj: zleva doprava, slovo za slovem, začátek věty existuje dřív než její konec. To má jeden důsledek, který spoustě lidí nedochází: pokud model na začátku věty šlápne vedle, vmanévruje se do logické pasti, ze které už se nemůže vrátit. Musí psát dál a horko těžko okecávat chybu, kterou stihl pustit ven.
DiffusionGemma na to jde jinak. Zapomeňte na psací stroj — lepším přirovnáním je sochař, který má před sebou beztvarý kus hlíny. Vezme blok 256 tokenů (zhruba odstavec) a hodí ho na plátno najednou jako čistý digitální šum. Pak se na ten odstavec dívá jako na celek a s každým dalším průchodem z mlhy odsekává tvar — celý odstavec brousí paralelně, dokud z chaosu nevyklouzne srozumitelný text. Začátek věty velmi dobře ví, co bude na jejím konci, ještě než se napíše finální slovo, a může se podle toho přizpůsobit. Tomu se říká obousměrná pozornost.
Rychlost je tímhle stylem neskutečná: přes 1000 slov za sekundu na jedné relativně běžné grafické kartě. Slabinou DiffusionGemmy je ale přesně to lovení konkrétních encyklopedických faktů z paměti — proto si vymyslela Stevu Jobsovi matku Claru Cleary. Její nejsilnější stránka je naopak strukturální provázanost: udržet celkový tvar textu tak, aby každá část dokonale ladila se vším ostatním zároveň. Vědomostní kvíz s ní nevyhrajete, ale na programování, formátování dat a jakýkoli proces, kde konec logiky definuje začátek, je geniální.
Difuzní modely za hranicí textu: privátní predikce v reálném čase
Když dnes lidé mluví o lokální AI, většinou si představují generování textu a shrnování dokumentů. Difuzní modely ale mají schopnosti, které sahají daleko za horizont toho, kam se většina lidí vůbec dívá. Neumějí jen skládat slova — umějí nacházet skryté vzorce v systémech, kde se potkává spousta proměnných a nejistot. Jsou geniální v odšumování, v narovnání a dopočítání vazeb v celé struktuře najednou, místo aby je řešily po pořadě.
Představte si data, která protékají běžnou firmou a nemají s textem nic společného. Výkyvy v zásobách na stovkách produktových řad, kde se potkává sezónnost a nepředvídatelnost dodavatelů. Návštěvnost prodejny, která se mění podle počasí, lokálních akcí a desítek dalších faktorů. Vzorce spotřeby energie na dílně, kde drobné odchylky dokážou předpovědět poruchu nástroje celé týdny předtím, než se stroj reálně zastaví.
Co se stane, když levná offline krabička nebude jen třídit maily, ale poběží na ní lokální difuzní model dělající časové předpovědi nad reálnými provozními daty? Model, který přesně řekne, kdy dojde konkrétní součástka do výroby. Model, který zmapuje energetické anomálie dřív, než se promění v drahou odstávku. Všechno modelováno v soukromí, na vlastním hardwaru, s vlastními daty, bez toho, aby se kdokoli cokoli dozvěděl o firemním know-how. Budoucnost lokální AI sahá daleko za chatování a psaní výtahů — míří k privátním předpovědím v reálném čase poháněným železem, které fyzicky vlastníte.
Závěr: revoluce je lokální
Pokud máte pocit, že je to nesmysl a že to nikdy nepůjde, vzpomeňte si na listopad 2022 a na to, jak hloupé a pomalé bylo gigantické cloudové ChatGPT 3.5. Schopnost, na kterou jste tehdy potřebovali superpočítač, dneska běží na levném notebooku na kuchyňském stole, kompletně odříznutém od internetu. Síla, za kterou se dřív platily měsíční výpalné cizímu cloudu, se smrskla do věci, kterou kompletně vlastníte a provozujete zadarmo. Revoluce je — jako vždycky — lokální.
