Paměť se stala samozřejmou výbavou chatbotů i autonomních agentů. Zní to logicky: čím víc si systém pamatuje z minulých úloh, tím lépe by měl zvládat ty nové. Jenže měření z letošního roku ukazují pravý opak — agent, kterému výzkumníci paměť přidali, si vedl výrazně hůř než tentýž agent bez ní. A vysvětlení je starší než většina dnešních modelů.
Heuristika, která se jen podepisovala pod cizí objevy
Na začátku osmdesátých let postavil Douglas Lenat systém jménem Eurisko. Každý objevený koncept v něm nesl číslo udávající, jak je cenný, a k tomu poznámku, jakou logikou vznikl. Když se objev osvědčil, stouplo hodnocení postupu, který ho vytvořil.
Jednomu z těch postupů rostla hodnota nezvykle rychle. Vypadalo to na mimořádný objev, na nejlepší věc, jakou systém kdy vyprodukoval. Ve skutečnosti nedělal nic — procházel cenné objevy ostatních a do kolonky, kdo mě vytvořil, dopisoval své vlastní jméno. Sbíral kredit za práci ostatních a systém ho za to čím dál štědřeji odměňoval. Počítačový parazit, který se jen podepisoval pod cizí výsledky.
Přidali agentovi paměť a výkon spadl o třetinu
O čtyřiačtyřicet let později je problém stejný. Výzkumníci z Microsoftu letos v květnu vzali agenta a dali mu paměť minulých případů. Bez ní vyřešil skoro 63 procent úloh, s ní necelých 40. Přidání paměti mu tedy ubralo víc než třetinu výkonu.
To by na první pohled nemělo být možné. Nic se neubralo, jen přidalo — model má všechno, co měl předtím, a k tomu zkušenost navíc. A přesto je horší.
Čtyři světy a vyhledávání podle toho, jak text zní
Vysvětlení leží v tom, jak byl test postavený. Střídaly se v něm čtyři zcela odlišné světy: výměna kola u auta, míchání koktejlů, přesouvání kostek a přenášení věcí mezi místnostmi. Každý z nich má vlastní slovník příkazů a co jde udělat v jednom, v druhém vůbec neexistuje.
Paměť přitom funguje tak, že si model k novému úkolu vytáhne pár nejpodobnějších případů z minulosti — a podobnost měří jen podle toho, jak text zní, ne podle toho, jestli případy pocházejí ze stejného světa. Agent, který má namíchat koktejl, tak klidně přistane u návodu na výměnu kola. Oba texty přece mluví o tom, že se něco vezme do ruky a někam přenese. Postup pak poslušně provádí, míchá koktejl zvedákem a je na sebe patřičně hrdý. Odtud věta, kterou si z celé studie stojí za to zapamatovat: paměť sama o sobě není učení.
Přátelský tón i ve výpovědi smlouvy
Stejná porucha se dá ukázat na modelovém uživateli. Arthur Dent pracuje na volné noze, umělou inteligenci používá denně a paměť má zapnutou rok. Za tu dobu se v ní usadila jedna důležitá věta: Arthur preferuje stručný přátelský tón. Zní to skvěle a je to pravda, sám by to o sobě napsal.
Minulý týden ale posílal výpověď smlouvy dodavateli, který mu půl roku nedodržoval termíny. Model ji napsal přátelsky. Reklamaci přátelsky. Upomínku po splatnosti taktéž přátelsky. Když si do instrukcí dopsal, ať píše přísně, nezměnilo se nic — model přece Arthura zná a dobře si pamatuje, jak to má rád.
U každého to bude jiná věta, ale porucha stejná. Ta věta je pravdivá a přesto k ničemu, protože neříká, kdy to pravidlo platí. Model nemá jak poznat, že přátelský tón se vztahuje na e-mail kolegovi, ale ne na výpověď smlouvy. Nikdo mu to neřekl. Uložená zkušenost se bez podmínky použije i tam, kde nedává smysl — přesně jako u toho koktejlu.
Když si model zapisuje sám: ze sta procent na 54
Zbývá otázka, co se stane, když si model zapisuje sám, co se naučil, a navíc mu pokaždé ukážete správné řešení. Tedy přesně to, co dnes dělají paměťové funkce ChatGPT i Claude.
Den předtím, než vyšla studie o vyvíjející se knihovně, publikoval tým z Illinois jiný pokus. Vzal špičkový model a předložil mu devatenáct abstraktních hádanek toho typu s barevnými čtverečky, kde se z pár příkladů odvozuje pravidlo. Vybrané byly jen ty, které model trefoval pokaždé — startovní čára tedy byla stoprocentní úspěšnost. Pak mu dovolili dělat to, co dělá každý moderní paměťový systém: zapisovat si, co se naučil. A aby to bylo poctivé, dostával pokaždé i správné řešení.
Po deseti průchodech stejnou sadou už neměl sto procent, ale čtyřiapadesát. V navazujícím testu dostal triviální pravidlo — smaž všechny objekty šedé barvy. Bez jakýchkoli poznámek bylo správně deset výstupů z deseti, s poznámkami nula. Nula s nápovědou v ruce.
Důvod je prostý: různé hádanky se mu při opakovaném přepisování slily do jednoho záznamu. Místo devatenácti konkrétních zkušeností měl jeden lísteček, který se hodil k jednomu typu úlohy a u ostatních ho táhl špatným směrem. Všechno na jednom listu a žádná informace o tom, čeho se co týká.
Slití, rozmělnění, přilepení
Dobrá zpráva je, že se paměť nekazí náhodně, ale podle vzorce. Poruchy mají tři jména.
Slití — dva recepty se sepíšou do jednoho a vznikne pravidlo, které neplatí ani pro jeden z nich. Poznámka o e-mailech se slije s poznámkou o textech do reportů a model už neví, jak co psát.
Rozmělnění — v paměti je věta, že u faktur nad padesát tisíc se přidává rozpis po položkách, a postupně k ní přibývají další a další podobné výjimky. Po roce z toho je nepřehledná hromada, kterou si model přeloží jako pokyn napsat to prostě přehledně.
Přilepení — modelu napíšete, že se váš šéf jmenuje Kuba a že mu máte psát korporátním jazykem. Model si dokonale zapamatuje jméno Kuba, ale už ne to, že lidem v roli šéfa se píše jinak.
Titíž výzkumníci pak prošli i cizí paměťové systémy. U jednoho měla každá poznámka počítadlo, které povyskočilo pokaždé, když s ní systém souhlasil nebo ji upravil. Nejvýš posazená položka měla 99 hlasů, zhruba dvojnásobek druhé v pořadí. Její obsah se přitom v čase několikrát změnil: nejdřív konkrétní rada, pak obecnější pravidlo a nakonec tautologie ve smyslu zvaž možné akce a vyber tu správnou. Věta, která platí pro jakéhokoli plánovacího agenta na světě a neříká mu vůbec nic. Skóre se při přepisování nikdy nevynulovalo — kdyby paměť byla skříň se šuplíky, to číslo by neměřilo kvalitu obsahu, ale počet otevření. Tedy přesně to, na čem parazitovala Euriskova heuristika před čtyřiceti lety.
Deníček versus recept
Architektura EvoLib, kterou Microsoft na tenhle problém nasazuje, staví na jednoduchém obratu: neukládat celé minulé případy jako hromadu textu, ale vytěžit z nich dovednosti a poznatky, které se dají rovnou použít. V příloze studie je seznam toho, co si systém vyhodnocuje jako nejcennější, a je mezi tím i položka o výměně kola — když auto ještě stojí na zemi, povol matice dřív, než ho zvedneš zvedákem, jinak kolo nesundáš.
Postavte vedle sebe dvě věty o téže zkušenosti. První: třetího června jsem měnil kolo na oktávce. Druhá: když auto stojí na zemi, povol matice dřív, než ho zvedneš. To první je zápis do deníčku, a přesně tohle dnes umělá inteligence běžně dělá. To druhé je recept. Deníček ukládá, co se stalo. Recept ukládá, kdy to platí — a jen jeden z nich bude za rok k něčemu dobrý.
Rozdíl je v jediné jednoduché věci: recept má podmínku a rozpis do detailu. Co dovednost umí, kdy ji použít, co k ní potřebujete a jaké má kroky. Konkrétní situace, výchozí podmínky a jasná posloupnost: povol, zvedni, odšroubuj, sundej, ulož, spusť.
Poznámka bez podmínky je slogan
Jak takový převod vypadá u člověka? Arthur Dent zahodil větu o přátelském tónu a napsal místo ní dvě poznámky. Když píšu kolegovi nebo dlouhodobému klientovi v běžné situaci, použij stručný přátelský tón. Když píšu reklamaci, výpověď smlouvy nebo upomínku po splatnosti, piš profesionálně, přímo a bez zbytečného změkčování.
Test je jednoduchý: pokud k pravidlu nedokážete napsat, v jaké situaci platí, není to poznatek, ale dojem. A z dojmů po roce vznikne pokyn napiš to dobře. Poznámka, u které není napsané, kdy platí, je slogan — a slogany do promptu nepatří.
Knihovna o tisíci položkách, do úkolu jde deset
Zbývá otázka výběru. Když má knihovna sto položek, podle čeho se rozhodne, na kterou se model zrovna soustředí? EvoLib má k dispozici celou knihovnu, ale do jednoho zadání pošle nanejvýš deset dovedností a deset poznatků. Je jedno, jestli jich uvnitř leží sto nebo tisíc — k aktuálnímu úkolu se dostane jen ten malý výběr.
Podstatné je, podle čeho se vybírá. Systém nesleduje, kolikrát byla položka otevřená, ale jestli dovednost modelu skutečně pomohla a jestli díky poznatku vznikly další užitečné abstrakce. Odměňuje tedy nejen to, co fungovalo, ale i to, z čeho vzešlo něco dalšího. Zkušenosti vedoucí k dobrým řešením a k lepším zkušenostem dostávají přednost před těmi, které v knihovně jen leží.
Nechat, přepsat, smazat
Co si tedy má umělá inteligence pamatovat? Postup a podmínku, kdy platí, klidně i důvod a to, co se konkrétně stalo. Co si pamatovat nemá: fakta o světě, která stárnou, dojmy bez přiřazené situace a záznamy typu měnil jsem kolo.
Praktický krok na dnešek: otevřete si, co o vás umělá inteligence za tu dobu uložila. V ChatGPT je to v nastavení v sekci personalizace pod položkou paměť. Pokud používáte vlastní instrukce, projektové instrukce nebo textový soubor pro nějakého agenta, otevřete i ten. Příklady tam nechte, ale projděte každou větu a ptejte se na jedinou věc: je u ní napsané, kdy platí?
Když ano, nechte ji být. Když může být užitečná, ale podmínka jí chybí, přepište ji. Když nevíte, kdy ji má model použít nebo jestli vůbec ještě platí, smažte ji. Nechat, přepsat, smazat — jeden test, tři možnosti.
Závěr
Vzpomínka s nejvyšším skóre nemusí být ta nejhodnotnější. Šuplík, který otevíráte nejčastěji, nemusí být ten nejužitečnější, zvlášť když v něm leží informace, kterou lze vždycky tak nějak použít. Na tomhle problému si zatím vylámaly zuby všechny autonomní systémy, které se mají učit v čase — od agentních frameworků typu OpenClaw po vestavěné paměti velkých chatbotů — a ani nová architektura z Microsoftu nebude dokonalá.
Zůstává z toho ale poznatek, který se v oboru objevuje čím dál častěji: nejde ani o velikost paměti, ani o velikost kontextu, ani o to mít po ruce nejčastěji opakovaný příklad. Jde o to vědět, co dělám, proč to dělám a kdy to platí. Paradoxní na tom je, že totéž říkala už víc než čtyřicet let stará historka, ke které se nikdo nevrátil podruhé.
