Test chatbota má ve většině firem podobu tří otázek a spokojeného kývnutí. Majitel napíše, co ho zrovna napadne, bot odpoví hezky česky a jde se naostro. Jenže zákazníci se ptají jinak než majitel, ceník se mezitím změní a platforma pod botem vymění model. Bot, který v pondělí odpovídal bez chyby, pak ve čtvrtek slíbí slevu, kterou nikdo nedává.
Já chatbota po takové zkoušce nepředávám. Než promluví s prvním zákazníkem, testuju ho na skutečných datech, a to je něco jiného než si s ním chvíli psát. Dobrý rámec, jak takové testy dělat soustavně, zveřejnil začátkem září 2026 Praveen Rajasekar v článku pro účet Google Cloud Tech na síti X. Popsal šest způsobů, jak testovat AI agenty. Míří na vývojářské týmy, ale každý ze šesti testů má svou obdobu i u chatbota malé firmy. Metody jsou Googlu, převod do malé firmy je můj.
Proč nestačí bota párkrát vyzkoušet?
Pár zkušebních otázek ukáže jen to, že bot umí odpovídat. Neukáže, jestli zapsal kontakt, neslíbil nic mimo ceník a bude se chovat stejně i příští měsíc. Spolehlivý provoz podle Rajasekara potřebuje soustavné a měřitelné testy, ne zkoušky od oka (v originále „vibe checks“).
Nejzrádnější věta jeho článku mluví o úspěchu. Agent podle ní může ohlásit, že je hotovo, i když udělal nepovolený krok nebo sáhl po špatné službě. U chatbota to vypadá nevinně: napíše „termín máte rezervovaný“ a v kalendáři nic není.
Zlatá sada (golden dataset)
Seznam skutečných dotazů vašich zákazníků a dřívějších přešlapů bota. U každého dotazu stojí, co odpověď musí obsahovat, co obsahovat nesmí a jestli má bot předat hovor člověku. Na téhle sadě běží všechny testy níž a pouští se znovu po každé změně.
Bot, který jednou prošel, není otestovaný navždy. Je otestovaný pro jeden den, jeden model a jednu verzi vašich podkladů.
Co musí být hotové, než bot vůbec promluví (podklady, předání člověku, ochrana dat), jsem sepsal v checklistu před spuštěním. Tady jde o druhou půlku, tedy o chování hotového bota. Šest testů na jedné stránce:
| Test | Co zkouší | Jak ho udělat bez programátora | Kdy ho opakovat |
|---|---|---|---|
| 1. Data dorazila celá | kontakt, pole, štítek, odkaz na rezervaci | zkušební rozhovor a kontrola CRM pole po poli | po změně formuláře, napojení nebo modelu |
| 2. Jen vaše fakta | ceny, lhůty a podmínky beze slova navíc | odpověď vedle ceníku, každé tvrzení dohledat | po každé úpravě podkladů |
| 3. Správné pořadí kroků | ověření, rezervace, předání člověku | přepis rozhovoru a odškrtání kroků | po změně rezervací nebo pravidel předání |
| 4. Kvalita podle tabulky | tón, zdvořilost, splnění požadavku | verdikt vyhovuje, nebo nevyhovuje a jedna věta proč | před spuštěním, pak na vzorku skutečných hovorů |
| 5. Stará a nová verze | co změna modelu nebo pokynů rozbila | stejné dotazy na obě verze, porovnání naslepo | při každé změně modelu, pokynů nebo báze |
| 6. Známé záludné případy | že se starý průšvih nevrátil | celá zlatá sada s očekávaným chováním | po každé změně a s každým novým přešlapem |
Test 1: dorazilo všechno tam, kam mělo
První test nekontroluje, co bot řekl, ale co po rozhovoru zůstalo. Google s ním začíná a zdůvodňuje to jednoduše: než se na kvalitu odpovědi zeptáte jiné AI, zkontrolujte základy levně, obyčejným pravidlem. U vývojářů jde o správný formát dat a povinná pole, u chatbota malé firmy o to, jestli po rozhovoru vznikl použitelný kontakt.
Postup zvládne kdokoli. Napište botovi jako zákazník, nechte si poradit a zarezervujte termín. Pak otevřete CRM a jděte pole po poli: jméno ve jméně, telefon v telefonu, e-mail v e-mailu, správný štítek a odkaz na rezervaci, který opravdu otevře kalendář. Nic se tu nehodnotí, buď to sedí, nebo ne. Test opakujte pokaždé, když se změní formulář, napojení na CRM nebo model, který bot používá.
Test 2: bot říká jen to, co stojí ve vašich podkladech
Druhý test hlídá, aby každé tvrzení v odpovědi mělo oporu ve vašich dokumentech. Google tomu říká podloženost a navrhuje ji měřit číslem od nuly do jedné. Odpověď pod přísným prahem se podle něj zahodí dřív, než dojde k uživateli. Rajasekar k tomu přidává poctivou větu: vymýšlení nejde zaručeně vyloučit, ale jde ho soustavně snižovat.
Bez programátora to uděláte s ceníkem v druhém okně. Projděte dotazy na cenu, dodací lhůtu, storno a dopravu a v každé odpovědi podtrhněte každé tvrzení. Pak ho najděte v podkladech. Co tam nenajdete, je chyba, i kdyby to znělo rozumně a náhodou to sedělo. Příště to sedět nemusí.
Bot napojený na živý zdroj mění odpovědi s každou úpravou webu. Tenhle test proto patří ke každé změně ceníku, obchodních podmínek nebo znalostní báze.
Test 3: správný krok ve správném pořadí
Třetí test nesleduje výsledek, ale cestu k němu. Google chce vidět, že si agent ověřil, s kým mluví, než začal vracet peníze, a že zkontroloval oprávnění, než něco změnil. Zbytečné kroky a točení v kruhu se mají počítat jako chyba.
U chatbota jsou ty kroky tři: ověření, akce a předání. Před přeplánováním nebo zrušením termínu si bot má ověřit, kdo mu píše. Před slevou má zjistit, jestli na ni zákazník má nárok. A když narazí na hranici předání, má hovor předat dřív, než cokoli slíbí.
Projděte přepis zkušebního rozhovoru a krok po kroku odškrtejte, co bot udělal a v jakém pořadí. Nejvíc na tom záleží u bota, který za vás odpovídá i ve volný pátek. Předání musí fungovat i ve chvíli, kdy na druhé straně hned nikdo neodpoví. Test opakujte po každé změně rezervací, storno podmínek nebo pravidel předání.
Zkouška s cizím termínem
Zarezervujte si termín z jednoho kontaktu. Pak z druhého, testovacího kontaktu napište botovi, že ho chcete zrušit, a uveďte jméno toho prvního. Když bot termín zruší bez ověření, test neprošel, i kdyby jeho odpověď byla sebezdvořilejší.
Test 4: kvalita podle tabulky, ne podle nálady
Čtvrtý test hodnotí, jak bot odpovídá: tón, zdvořilost a jestli zákazník dostal, co chtěl. Google na hodnocení kvality nasazuje AI soudce, tedy menší modely s přísnou stupnicí od jedné do pěti. Každá známka má jasná kritéria a soudce musí napsat zdůvodnění dřív, než známku udělí.
AI soudce
Jazykový model, který nepíše odpovědi zákazníkům, ale hodnotí odpovědi jiného modelu podle pravidel, která mu dáte. Ušetří čas, když konverzací přibývá. Věřit mu ale můžete jen tolik, nakolik se jeho verdikty shodují s vašimi.
Malé firmě doporučuju jednodušší cestu, kterou v textu z roku 2024 popisuje Hamel Husain. Místo škály dáte verdikt vyhovuje, nebo nevyhovuje, a připíšete jednu větu proč. Husain píše, že se známkami na škále je víc práce než s prostým ano a ne. Hodnotící tabulce pak stačí tři sloupce: dotaz, verdikt a důvod. Vyplnit ji zvládne každý, kdo zná vaše zákazníky.
Když chcete hodnocení svěřit AI, nechte ji nejdřív ohodnotit stejné odpovědi jako vy a verdikty porovnejte. Husain radí sledovat, jak moc se verdikty člověka a modelu shodují, a shodu kontrolovat pravidelně i potom. Celou tabulku vyplňte před spuštěním, pak hodnocení opakujte na vzorku skutečných hovorů.
Test 5: co se stane, když platforma vymění model?
Bot může začít odpovídat jinak, k lepšímu i k horšímu, a proto se stará a nová verze pouštějí vedle sebe. Google před výměnou modelu doporučuje nechat oba odpovídat na stovky skutečných dotazů. Soudce pak vybírá lepší odpověď a systém střídá pořadí, aby soudce nesklouzl k volbě té první.
Změna přitom nemusí přijít od vás. Jak to chodí u jednoho z velkých dodavatelů, popisuje Anthropic ve své dokumentaci (stav k 10. 10. 2026). Model pod jedním označením neupravuje a novou verzi vydává pod novým označením. Zároveň přiznává, že úpravy infrastruktury občas drobně změní chování i u stejného modelu. A každý model má vlastní datum vyřazení, takže přechod na nový jednou přijde.
Že nejde o teorii, ukázali v roce 2023 Lingjiao Chen, Matei Zaharia a James Zou. GPT-4 z března poznal prvočísla s přesností 84 %, verze z června jen s přesností 51 %. Jiné úlohy se naopak zlepšily, chování se zkrátka mění oběma směry.
Malá firma turnaj na stovkách dotazů nepotřebuje. Podle mě stačí pár desítek dotazů ze zlaté sady, obě verze vedle sebe a člověk, který neví, která odpověď je nová. Tohle srovnání pusťte při každé změně modelu, pokynů pro bota (promptu) nebo znalostní báze.
Test 6: známé záludné případy po každé změně
Šestý test drží pohromadě všech pět předchozích. Google mu říká zlatá regresní sada: skutečné dotazy uživatelů a dřívější záludné případy, které se pouštějí pokaždé, když se změní kód. Když někdo upraví pokyny a výsledek klesne, kontrola zčervená dřív, než si toho všimne zákazník.
U chatbota to znamená doplňovat zlatou sadu o každý přešlap. Když bot jednou slíbil dopravu zdarma, kterou nedáváte, patří ten dotaz do sady i s poznámkou, co bot říct nesmí. Husain to říká přímo: co odhalí čtení skutečných konverzací, má se přidat do testů. Sada pak roste s firmou a stará chyba se potichu nevrátí.
Zlatá sada potřebuje správce, stejně jako každá jiná agenda kolem AI. Někdo ve firmě ji po každé změně pustí, projde výsledky a zapíše nové případy. Nemusí to být programátor, stačí člověk, který zná zákazníky a jejich otázky.
Co testy nezaručí a kde stačí méně
Testy nevyrobí bota, který se nikdy nesplete. Sníží počet chyb a hlavně zařídí, aby se tytéž chyby nevracely. Husain k tomu dodává užitečnou věc: nemusí projít sto procent testů. Kolik chyb snesete, je podle něj obchodní rozhodnutí. U otevírací doby unesete víc, u cen a rezervací skoro nic.
Všech šest testů se nevyplatí každému. Kdo má bota jen na otevírací dobu a pár odpovědí, které se rok nemění, vystačí si s druhým a šestým testem v malém. Celou šestici potřebuje bot, který rezervuje termíny, zapisuje do CRM nebo mluví o penězích. Tam stojí jedna špatná odpověď víc než odpoledne testování.
Celé testování v kostce
- Sestavte zlatou sadu ze skutečných dotazů a u každého popište očekávané chování.
- Po zkušebním rozhovoru zkontrolujte v CRM, že data dorazila celá.
- Každé tvrzení o ceně a podmínkách dohledejte ve vlastních podkladech.
- Projděte pořadí kroků a zkuste zrušit cizí termín.
- Odpovědi ohodnoťte verdiktem vyhovuje, nebo nevyhovuje a jednou větou proč.
- Po každé změně modelu, pokynů nebo podkladů pusťte celou sadu znovu a doplňte nové přešlapy.
Tři otázky a kývnutí jsou dobrý začátek. Testem se stanou až ve chvíli, kdy z nich vyroste sada, kterou pustíte po změně ceníku i po tichém přechodu na nový model, a pokaždé budete vědět, co se pohnulo. Takového bota pak klidně necháte odpovídat i v hodinách, kdy jeho rozhovory nikdo nečte. Když budete chtít, sestavím zlatou sadu z vašich skutečných dotazů a otestuju na ní bota ještě před spuštěním, jako součást nasazení AI. Sadu i hodnotící tabulku vám předám, takže další kolo testů pustíte sami.
