Dva dny na vytvoření něčeho smysluplného
Společně s kolegou jsme dostali příležitost zúčastnit se dvoudenního hackathonu v Londýně, který pořádal HG Catalyst pod záštitou společnosti Anthropic. Zadání bylo poměrně otevřené: přijít s nápadem na produkt nebo řešení s potenciální byznysovou hodnotou, na který za běžných okolností třeba není prostor, a během pouhých dvou dnů se pokusit nápad proměnit ve funkční prototyp.
Pracovali jsme v pětičlenném týmu a rozhodli se využít jednu zajímavou výhodu. Skupina team.blue, pod kterou jsme se hackathonu účastnili, má ve svém portfoliu široké spektrum digitálních produktů a služeb. Napadlo nás: co kdyby zákazník nemusel vědět, které konkrétní produkty potřebuje?
Třeba kadeřník chce začít podnikat, potřebuje web, rezervační systém a možná další služby. Řemeslník potřebuje prezentaci a fakturaci. Naší myšlenkou bylo vytvořit AI portál, ve kterém zákazník jednoduše popíše svůj záměr a systém mu pomůže služby nejen vybrat, ale i nakonfigurovat.
Proč nestačí obyčejný chatbot
Z předchozích zkušeností jsme věděli, že zákazníci často nedokážou přesně formulovat, co potřebují. Postavit před ně prázdné okno chatu s otázkou „S čím vám mohu pomoci?“ proto nemusí fungovat. Zvolili jsme kombinaci strukturovaného formuláře a AI. Nejdřív několik obecných otázek, pak AI generovala další zpřesňující dotazy. Na pozadí pracoval agent, který uměl volat potřebné nástroje a produkty skládat podle odpovědí.
Samotný nápad byl zajímavý, ale pro mě osobně bylo ještě zajímavější všechno kolem. Jak poznáme, že agent funguje správně? Jak zjistíme, kde se uživatelé zasekávají? Jak budeme vyhodnocovat zpětnou vazbu? Jak zabráníme zneužití nebo pokusům o prompt injection? A hlavně, jak zajistíme, že systém půjde dlouhodobě zlepšovat?
Observabilita není jen doplněk
Právě tady pro mě začala nejzajímavější část. Ostatní členové týmu přinesli zkušenosti z oblastí, kterým jsem se do té doby tolik nevěnoval, třeba observabilita AI aplikací a bezpečnostní mechanismy. Použili jsme Langfuse pro sledování jednotlivých konverzací, sessions a interakcí s AI. Do aplikace jsme připravili možnost hodnotit relevanci odpovědí a tato zpětná vazba se párovala s konkrétními interakcemi. To nám dávalo základ pro následnou analýzu chování agenta.
Součástí řešení bylo i verzování systémových promptů a práce s jejich postupným vylepšováním na základě vyhodnocení. Pomocí LiteLLM jsme připravili také směrování požadavků mezi různými AI modely, abychom mohli snadněji porovnávat jejich vhodnost pro konkrétní operace a měnit je bez zásadních zásahů do aplikace.
Je fér dodat, že během dvou dnů jsme především připravili infrastrukturu pro budoucí vyhodnocování a iterace. Neměli jsme reálné zákazníky a testovali jsme hlavně sami v týmu. Nešlo tedy o závěry z rozsáhlého provozu, ale o vytvoření základů, na kterých by se dalo stavět. Uvědomil jsem si, že vytvořit funkčního AI agenta je jedna věc, ale mít možnost jeho chování měřit, vyhodnocovat a systematicky zlepšovat je úplně jiná disciplína.
AI píše kód, kvalitu ale musíme řídit
Na implementaci jsme měli málo času, proto jsme hodně kódu vytvářeli s pomocí AI. O to důležitější bylo hned na začátku nastavit vývojové prostředí, automatické testy, statickou analýzu a automatizované code review. Neměli jsme kapacitu ručně kontrolovat každý řádek a potřebovali jsme si vytvořit rozumné mantinely pro rychlý vývoj.
Já jsem se soustředil na backend a integraci AI API a další členové týmu na oblasti, ve kterých měli zkušenosti. Jednotlivé části jsme pak spojovali do jednoho systému. Právě různorodost zkušeností se ukázala jako jedna z našich největších výhod.
Komunikace se nedá automatizovat
Nešlo všechno hladce. V jednu chvíli jsme zjistili, že jsme si dostatečně nevyjasnili, jak spolu mají frontend a backend komunikovat. Když jsme části propojovali, ukázalo se, že naše představy nejsou úplně stejné. Výsledkem byl menší časový skluz a nutnost rychle sladit detaily. Nakonec jsme to zvládli, ale byla to užitečná připomínka: čím rychleji vyvíjíme, tím rychleji se projeví i špatně komunikovaná rozhodnutí. AI umí urychlit implementaci, ale nemůže za nás vyřešit vzájemné porozumění.
Pět pohledů a společný výsledek
Když se dnes ohlédnu zpět, nejcennější nebylo množství napsaného kódu ani konkrétní technické řešení, ale možnost pracovat s lidmi, kteří o stejném problému přemýšleli z jiných perspektiv. Díky tomu jsme společně navrhli systém, který nebyl jen souborem několika API volání, ale něčím, co jsme dokázali sledovat, vyhodnocovat a postupně zlepšovat.
Největší lekcí pro mě bylo, že když AI zlevňuje samotné psaní kódu, roste význam schopnosti navrhnout dobrý systém, spolupracovat a rozumět širším souvislostem.
A jak to dopadlo?
Hackathonu se účastnilo 47 týmů a náš projekt nakonec vyhrál hlasování publika. Byla to skvělá tečka za dvěma intenzivními dny, ale největší hodnotou pro mě zůstala zkušenost, jak rychle může sehraný tým s pomocí AI vytvořit komplexní řešení a kolik se toho člověk může naučit od kolegů s odlišnými zkušenostmi.
