Čím jsou jazykové modely chytřejší, tím hůře přiznávají, že něco nevědí. Místo upřímného „nevím" raději hádají — a dělají to čím dál přesvědčivěji. AI konzultant Dylan Davis ukazuje tři jednoduchá pravidla pro prompty, která tento problém řeší a nutí umělou inteligenci být při práci s daty transparentní.
Chytřejší modely, větší riziko chyb
S každou novou generací AI modelů roste jejich inteligence, ale zároveň se prohlubuje jeden paradox — modely odpovídají sebevědoměji i tam, kde by správná odpověď měla znít „nevím". Výzkumníci tento jev znají a označují ho za jeden z klíčových problémů moderní umělé inteligence.
K tomu se přidává takzvaný automatizační bias. Čím chytřeji model působí, tím méně jeho výstupy kontrolujeme. Vzniká zpětná smyčka — AI odpovídá jistěji, my ověřujeme méně a pravděpodobnost přehlédnutí chyby roste. Bez systematických opatření v promptech se tento problém bude jen zhoršovat.
Kde se chyby projevují nejčastěji
Nejčastěji k problému dochází při extrakci dat z dokumentů — smluv, faktur, výpisů, přepisů schůzek nebo excelových tabulek. AI má za úkol vytáhnout konkrétní údaje, ale místo toho si některé hodnoty domyslí z kontextu nebo doplní ze svých vlastních znalostí.
Typický příklad: ve smlouvě se na jednom místě uvádějí platební podmínky „net 30" a na jiném „net 45". Model si jednu z nich vybere a druhou ignoruje, aniž by upozornil na rozpor. Další příklad — v zápisu ze schůzky se zmíní „příští týden" a AI z toho odvodí konkrétní datum, ačkoliv v dokumentu žádné uvedené není.
Pravidlo č. 1: Nech prázdné pole a vysvětli proč
První pravidlo je takzvané grounding — ukotvení modelu výhradně v datech, která má k dispozici. V promptu se AI instruuje, aby extrahovala pouze hodnoty, které jsou v dokumentu výslovně uvedeny. Pokud je hodnota nejednoznačná, chybí nebo není jasně formulovaná, model má pole nechat prázdné.
Klíčovým prvkem je přidání sloupce „důvod". Ke každému prázdnému poli AI uvede jednověté vysvětlení, proč hodnotu nevyplnila. To umožňuje rychlé procházení výsledků — stačí zkontrolovat prázdná pole a rozhodnout se, zda chybějící údaj doplnit ručně.
Pravidlo č. 2: Špatná odpověď je horší než žádná
Druhé pravidlo mění motivační mechanismus modelu. Ve výchozím nastavení se AI snaží vyplnit každé pole — chce uživateli poskytnout odpověď za každou cenu. Jediný řádek v promptu to dokáže změnit: místo „vyplň vše" se modelu sdělí, že chybná odpověď je horší než prázdné pole.
Princip je podobný jako u lidí. Když zaměstnanci řeknete, že špatná odpověď bude mít horší následky než přiznání, že neví, pravděpodobně vám raději řekne „nejsem si jistý". U AI to funguje stejně — jednoduchá instrukce „v případě pochybností nech prázdné" dramaticky snižuje počet vymyšlených hodnot.
Pravidlo č. 3: Ukaž zdroj každé hodnoty
I s prvními dvěma pravidly může AI při složitých úlohách časem sklouznout k odvozování. Třetí pravidlo přidává pojistku — ke každé hodnotě se přiřadí sloupec „zdroj" s jednou ze dvou možností: „extrahováno" (hodnota je doslovně převzata z dokumentu) nebo „odvozeno" (model ji odvodil z kontextu).
U odvozených hodnot musí AI navíc uvést, odkud přesně informaci vyvodila a proč. Díky tomu není třeba kontrolovat každou jednotlivou hodnotu — stačí přefiltrovat odvozené položky a ověřit, zda jsou správné. Tento přístup výrazně zvyšuje důvěru v AI výstupy, protože místo slepé kontroly všeho stačí zaměřit pozornost na místa, kde model přiznává nejistotu.
Kompletní prompt ke zkopírování
Zde je celé znění promptu, který Dylan Davis ve videu představuje — v originále i v českém překladu:
Originál (anglicky)
Extract the following fields from this document into a table.
Rules:
- Only extract values explicitly stated in the document.
- When a value is ambiguous, missing, or unclear, leave the field BLANK.
- A wrong answer is 3x worse than a blank. When in doubt, leave it blank.
- For each field with a value, add a "Source" column:
EXTRACTED = directly stated, exact match
INFERRED = derived, calculated, or interpreted
- For every INFERRED field, add a one-sentence explanation.
- For every BLANK field, add a row to a separate "Flags" table
explaining why the value could not be extracted.Český překlad
Extrahuj následující pole z tohoto dokumentu do tabulky.
Pravidla:
- Extrahuj pouze hodnoty, které jsou v dokumentu výslovně uvedeny.
- Pokud je hodnota nejednoznačná, chybí nebo není jasná, nech pole PRÁZDNÉ.
- Špatná odpověď je 3x horší než prázdné pole. V případě pochybností nech prázdné.
- Ke každému poli s hodnotou přidej sloupec "Zdroj":
EXTRAHOVÁNO = přímo uvedeno, přesná shoda
ODVOZENO = odvozeno, vypočteno nebo interpretováno
- Ke každému ODVOZENÉMU poli přidej jednověté vysvětlení.
- Ke každému PRÁZDNÉMU poli přidej řádek do samostatné tabulky "Upozornění"
s vysvětlením, proč hodnotu nebylo možné extrahovat.Závěr
Tři pravidla — ukotvení v datech, penalizace chybných odpovědí a transparentní označení zdrojů — společně vytvářejí systém, ve kterém AI přestane hádat a začne přiznávat, co neví. Přesnost je přitom jen jedním dílem skládanky efektivního využití umělé inteligence, ale bez ní žádný další krok nedává smysl.
