Ve veřejné diskusi o umělé inteligenci se pozornost soustředí na otázky inteligence samotné — jak dobře modely uvažují, jak hluboko chápou nuance. Realita je ale mnohem mechaničtější. Největší skrytý problém současné umělé inteligence vůbec není v inteligenci. Je v krátkodobé paměti.
KV cache: kartotéka, která brzdí celý obor
Každý nový token přidaný do konverzace s AI modelem se fyzicky ukládá do struktury zvané KV cache — z anglického Key Value Cache. Jde o kartotéku matematických reprezentací slov: s každou další zprávou přibývá nová zásuvka, kartotéka roste a model ji musí celou projít pokaždé, když generuje odpověď. Čím delší konverzace, tím těžší skříň, tím pomalejší výpočty a tím astronomičtější náklady na provoz.
Dnešní modely jsou oproti starším generacím nepředstavitelně rychlé — ale absolutní strop jejich výkonu leží právě v tomto místě. KV cache brutálně požírá paměť grafických karet, zpomaluje generování a výpočetní náklady tlačí do vesmíru. Toto omezení pociťují uživatelé na cenách spotřební elektroniky i na tom, proč největší AI firmy světa postupně omezují nebo sloučují své nejnáročnější produkty.
OpenAI právě ukončila Soru, dechberoucí aplikaci na generování videa. Velké partnerství s Disney skončilo. Tým Sory byl přesunut do výzkumu simulace světa pro robotiku. Důvod je prostý: generování videa devastuje výkon grafických karet, a to jsou nyní nedostatkové a astronomicky drahé součástky. Provoz několika oddělených výpočetně brutálních aplikací najednou se prostě nevyplatí.
Google publikoval výzkum, který komunitu AI šokoval
Google nedávno publikoval vědeckou práci o algoritmu zvaném TurboQuant. Komunita AI výzkumníků ji přirovnala k Pied Piperovi — fiktivnímu kompresnímu algoritmu ze seriálu Silicon Valley, který komprimuje data bez jakékoliv ztráty. A právě tahle analogie vystihuje, proč výzkum vyvolal takový rozruch: normální komprese vždy obětuje přesnost. Zkomprimovaný obrázek je trochu rozmazaný, zkomprimovaný zvuk zní trochu z plechovky.
TurboQuant tvrdí, že dokáže zmenšit KV cache šestkrát a zrychlit generování odpovědí AI až osmkrát — a to s nulovou ztrátou přesnosti. Mechanismus stojí na dvou klíčových principech.
Polární souřadnice místo kartézské mapy. Starší metody komprese musely být předem trénovány na konkrétních datech. TurboQuant je data-agnostický: je mu jedno, zda dostane text, kód nebo molekulární struktury. Algoritmus přepne reprezentaci dat z kartézského systému souřadnic na polární — místo tří bloků na východ a čtyř na sever řekne prostě: 250 metrů pod úhlem 37°. Stejná informace za zlomek paměťové zátěže.
Náhodná rotace a beta rozdělení. Před kompresí TurboQuant data náhodně rotuje. Zní to kontraintuitivně — jako rozházení perfektně seřazené kartotéky — ale statisticky je to brilantní tah. Náhodná rotace ve vícerozměrném prostoru rovnoměrně rozprostře důležitost dat do všech dimenzí. Výsledkem je, že každá složka sleduje předvídatelné beta rozdělení, obdobu Gaussovy křivky. Komprimovat uniformní data je podstatně jednodušší než komprimovat chaotická.
Korekce zaokrouhlování. Agresivní komprese vnáší chyby zaokrouhlování, které ničí geometrické vzdálenosti mezi datovými body — AI pak ztrácí nit a halucinuje. TurboQuant po kompresi přidá ke každé dimenzi jeden korekční bit. Tento miniaturní korektor zachovává geometrické vztahy a odstraňuje vzniklý bias. K dosažení maximální efektivity přitom algoritmus používá zlomkové hodnoty (½, ⅔), protože po náhodné rotaci jsou data tak uniformní, že lze přesnost inteligentně alokovat jen tam, kde na ní záleží.
Výsledkem je algoritmus, který podle výzkumníků dotýká takzvaných Shannonových mezí — absolutního teoretického limitu komprese dat před jejich nevratným poškozením.
Test: jehla v kupce sena velké jako Bible
Výzkumníci ověřili TurboQuant na reálných modelech — Llama 3.1 s osmi miliardami parametrů a Mistral se sedmi miliardami — pomocí benchmarku Needle in a Haystack. Do kontextu o velikosti 104 000 tokenů (zhruba desetina Bible) se schoval drobný specifický detail. Poté se modely zeptaly na ten detail schovaný na straně 400.
Při čtyřnásobné kompresi KV cache si modely udržely stoprocentní přesnost. Jehlu pokaždé našly. Ani agresivní komprese nesnížila schopnost modelu vybavit si konkrétní informaci ukrytou v obrovském kontextu.
Proč propadly akcie čipových gigantů
Ve stejnou dobu, kdy největší AI firma světa omezila aplikace kvůli přílišné nákladnosti, se akcie výrobců paměťových čipů v průběhu jediného dne propadly brutálním způsobem: Samsung o 4,7 %, SK Hynix o 6,2 %, Micron o více než 3 %. V dalších dnech pokles pokračoval.
Na první pohled paradox: pokud AI hladoví po paměti, výrobci čipů by měli být nejhodnotnějšími hráči na trhu. Jenže investoři si Googlem zveřejněnou studii přečetli — nebo jim o ní někdo řekl — a okamžitě přepsali své investiční modely. Pokud se KV cache, kvůli které AI firmy utrácely miliardy za paměť, stala šestkrát efektivnější, celá rovnice poptávky se mění.
Ukončení Sory u OpenAI, pád akcií čipových firem, studie Googlu definující nové hranice komprese — to nejsou oddělené zprávy. Je to jeden ucelený příběh.
AI na vašem notebooku bez cloudu
Dosud platilo jednoduché omezení: notebook s 16 nebo 32 GB RAM zvládl lokální AI model pracující jen s osmi tisíci tokeny. Delší konverzace nebo složitější dokumenty? Větrák začal řvát a výpočet se zastavil.
S algoritmy jako TurboQuant se moderní notebook stane reálným nástrojem pro náročnou práci s AI. Tříhodinový přepis podcastu má zhruba 48 000 tokenů — dříve se to do paměti prostě nevešlo, lokální model selhal. S TurboQuant je 48 000 tokenů pro moderní notebook zcela v pohodě. Vektorové databáze pro sémantické vyhledávání, které dříve indexovaly velká data celé minuty, zvládnou tutéž operaci za 0,0013 sekundy.
Praktické důsledky jsou zřejmé: přepis tříhodinové porady s právníkem, firemní systém plný citlivých poznámek, produktová strategie pro rok 2027 — to vše lze zpracovat lokálně, bez odesílání dat na cizí servery. Bariéry, které brzdily nasazení AI v prostředích s důvěrnými daty, se najednou hroutí. Dnešní počítač se bez výměny jediné součástky právě stal výrazně schopnějším nástrojem.
Jevonsův paradox a simulace reality
V ekonomii existuje Jevonsův paradox: když technologie zlevní, spotřeba neklesá — roste. Benzín zlevní, lidé víc jezdí; elektřina zlevní, továrny jedou naplno. Tento paradox se dá aplikovat i na čipy.
OpenAI přesunula tým Sory do výzkumu simulace světa pro robotiku. Staví virtuální prostředí pro trénování budoucích robotů. Dosud byla taková simulace neúnosně drahá — AI neudržela dostatečný kontext a simulace ztrácela soudržnost. Pokud algoritmy jako TurboQuant dají umělé inteligenci v podstatě neomezenou pracovní paměť bez dřívějšího tření, otevírá se zcela nový horizont: firmy tento náhle odemčený výkon nasměrují na simulaci reality.
Menší náročnost AI na paměť pravděpodobně neznamená plné regály čipů. Znamená daleko větší poptávku po výkonu pro úplně nové aplikace. Co to udělá s poptávkou? Jako vždy.
