Prompt engineering má novou jednoduchou poučku: čím obyčejnější slova použijete, tím chytřejší odpověď dostanete. Výzkumy ukazují, proč velké jazykové modely paradoxně selhávají při složitém slovníku, a co z toho vyplývá pro každodenní práci s AI.
Biologický mozek a energie slov
Alexandrovova studie potvrzuje, co nám intuice napovídá: přečíst slovo pes stojí mozek méně energie než přečíst slovo postprandiální. Biologické neuronové sítě preferují běžné výrazy — zpracují je rychleji a s nižší kognitivní zátěží. Snazší přístup k frekventovaným slovům není jen dojem, jde o měřitelný rozdíl v energetickém nákladu mozku.
Jenže AI nemá biologický mozek a neunaví se. Proto dlouho nikdo nepočítal s tím, že by pro ni mohlo platit něco podobného.
Paradox velkých modelů
Větší jazykový model by měl být chytřejší. Zná vzácná slova, má je správně zakomponovaná do vektorového prostoru, rozumí jejich sémantickým vazbám. Právě tady nastává paradox: jakmile se ve větě objeví vzácné slovo, model musí zastavit.
V technickém jazyce vědci popisují tento jev jako nárůst takzvané negative log likelihood loss — míry nejistoty, s jakou model odhaduje, co napsat jako další. U běžných slov, která model viděl při tréninku stokrát za sebou, je tato křivka pravděpodobnosti ostrá a spolehlivá. U vzácných slov se naopak sploští — model tápě, rozptyluje se do nepravděpodobných alternativ.
Demonstruje to experiment s překladem z angličtiny do srbštiny. Vědci zadali dvě věty se stejným významem: první používala formální slovník („dva hudební výběry z kinematografické produkce získaly nominace na ocenění za nejlepší původní stopu"), druhá stejný obsah vyjádřila běžně („dvě písničky z filmu bojovaly o cenu za nejlepší novou pecku"). Překlad formální věty byl kostrbatý a gramaticky nestabilní. Jednoduchý ekvivalent dopadl téměř dokonale — a to se projevilo i na automatických metrikách kvality překladu BLEU a COMET, přičemž COMET neměří jen shodu slov, ale i zachování původního smyslu. Skóre nevyrostlo o kousek, vystřelilo nahoru.
Metafora hustého lesa bez mapy dobře vystihuje, co se děje: cíl zůstává stejný, ale cesta k němu se stane divočinou. I se zavázanýma očima se dá projet po vyasfaltované turistické stezce. Houštinou ne.
Adamův zákon textové frekvence
Zákon textové frekvence říká jednoduchou věc: AI funguje lépe se slovy, která viděla při tréninku nejčastěji. Výsledky jsou podloženy čísly. Model DeepSeek Q3 posunul svoji přesnost v matematickém uvažování z 63,5 % na více než 71,5 % jen tím, že výzkumníci vyměnili vzácná synonyma za běžné ekvivalenty — bez jediné změny v architektuře, bez přidání parametrů. Llama 3 se sedmdesáti miliardami parametrů šla z 80,5 % na téměř 89 %. Efekt navíc není omezený na matematiku: zlepšuje selský rozum i volání nástrojů, tedy přesně tu oblast, na které teď stojí celý vývoj agentních systémů.
Praktický dopad pro uživatele je přímočarý: přestaňte AI oslovovat vznešeným žargonem. Napište jí to, co byste řekli kamarádovi na procházce. Žádné odborné termíny, žádné výpůjčky z akademických prací. Nejzákladnější, nejobvyklejší výrazy, které vás napadnou. A pak sledujte, jak model zmoudří.
Jak zjistit preferovaný slovník modelu — TFD metoda
Trénovací data pro velké modely jsou přísně střežené firemní tajemství — Google, OpenAI ani Anthropic zpravidla neřeknou, co v nich doopravdy je. Výzkumníci přišli s elegantním řešením: metoda zvaná textural frequency distillation (TFD) nechá model samotného odhalit, která slova preferuje.
Stačí mu zadat prázdný prompt — vypiš libovolný příběh, napiš neutrální text bez tématu i instrukcí. Sledováním toho, po kterých slovech model přirozeně sahá při generování milionů tokenů volného textu, lze zpětně rekonstruovat jeho preferovaný slovník. Nejhustěji prošlapané cesty v jeho mozku. Nepotřebujete trénovací data, stačí nechat model mluvit. Stejný postup lze použít i pro konkrétní téma: řekněte modelu, aby vygeneroval příběh o vaší oblasti, a uvidíte, jak na ni přirozeně mluví.
Curriculum textual frequency training
Výzkumníci aplikovali stejný princip přímo na trénování modelů. Metoda zvaná curriculum textual frequency training (CTFT) spočívá v obráceném pořadí: model nejprve dostane vzácná, složitá slova a nejtěžší výrazy — zmapuje si hustý les, pozná divočinu, dokud je ještě adaptabilní. Teprve pak přicházejí na řadu běžná každodenní slova. Výsledek je model, který se nerozsype, když na vzácné slovo narazí, protože má pevný základ.
Je to vlastně totéž, co dělá každý dobrý vzdělávací systém v opačném směru: nejdřív jednoduché, pak složité. Jenže u AI se na to přišlo překvapivě pozdě. Modely trénované metodou CTFT konzistentně porážejí tradiční přístupy a na vzácná slova jsou do značné míry odolnější. Očekává se, že příští dvě generace modelů tento problém výrazně omezí.
Přizpůsobujeme se my sami AI?
V závěru zazní otázka, která přesahuje techniku. Pokud AI funguje lépe s jednodušším jazykem a my se tomu přizpůsobujeme, co se děje s naším vlastním myšlením? Začínáme sami sebe pomalu ochuzovat o přesná, vzácná slova, abychom s počítačem lépe komunikovali? A co se stane, až přijde generace, která se tímto způsobem učí od základní školy?
Jazykové modely se stávají součástí mailů, brainstormingu, řešení problémů, psaní i vyhledávání — a brzy i rozhodování. Pro velkou část lidí bude většina toho, co za den napíší, procházet přes jazykový model. Pokud nás stroj odměňuje za jednoduché prompty, nezačneme si pomalu a podvědomě sami sebe přizpůsobovat jemu? Nesploštíme si vlastní slovník — a tím pádem i uvažování — jen abychom udrželi křivku pravděpodobnosti AI na vrcholu?
Odpověď není definitivní. Ale otázka, kdo trénuje koho, stojí za to si položit. Na AI je nejlepší mluvit nejjednodušším slovníkem, který znáte. Stroj se odmění. Cenu za to ale možná platíme jinde.
