AI modely: kdy nižší cena opravdu přinese úsporu

Otevřené modely rozšiřují výběr. O jejich přínosu pro firmu rozhodne cena správně dokončené práce, včetně oprav a provozu.

AI modely mohou zlevňovat, a přesto firmě přidělat práci. Představte si český internetový obchod, který automaticky připravuje odpovědi na dotazy ke stavu objednávek. Každá odpověď stojí méně než dřív, jenže zaměstnanci opravují termíny dodání, které si systém domyslel. Účet za model klesl, práce týmu přibyla.

Jeffrey Morgan, spoluzakladatel a šéf Ollamy, podle popisu rozhovoru zveřejněného Y Combinatorem spojuje příklon k otevřeným modelům s klesajícími náklady a rozvojem programovacích agentů. Pro českého podnikatele z toho vyplývá užitečná otázka: kolik z levnějšího výpočtu se promění ve skutečnou úsporu? Odpověď hledejte v ceně správně dokončeného úkolu.

Levnější výpočet láká k větší spotřebě

Tvůrci modelů s otevřenými vahami zveřejňují jejich naučené parametry. To umožňuje jejich provoz i mimo službu původního tvůrce, za podmínek konkrétní licence. Pro firmu tím vzniká prostor porovnávat různé způsoby nasazení a náklady na stejnou práci.

Y Combinator v popisu rozhovoru uvádí, že spotřeba tokenů v Ollama Cloud od začátku roku vzrostla na 150násobek; téma růstu spotřeby začíná v čase 03:31. Token je malý úsek textu, například část slova, s nímž model pracuje. Uvedený růst popisuje vytížení služby a sám o sobě nevypovídá o úsporách jednotlivých zákazníků.

Levnější zpracování totiž může povzbudit firmu k dalším pokusům, delším odpovědím nebo širšímu nasazení. Zvlášť u agentů, tedy systémů, které při plnění zadání samostatně provádějí více kroků, je třeba sledovat celý průběh práce. Jediný požadavek může vyvolat několik volání modelu, hledání v dokumentech i opakované opravy.

Počítejte cenu vyřešeného požadavku

U modelového internetového obchodu proto nestačí porovnat cenu vygenerované zprávy. Za dokončený úkol považujte až odpověď, která odpovídá skutečnému stavu objednávky a může odejít zákazníkovi. Pokud ji musí pracovník přepsat nebo zákazník kvůli chybě napíše znovu, připočtěte i tuto práci.

Do ceny automatizace patří i čas lidí, kteří opravují její chyby. K nákladům na model přidejte související nástroje, provoz, kontrolu a údržbu. Celkové náklady za sledované období pak vydělte počtem správně vyřízených požadavků; započítejte přitom i výdaje za neúspěšné pokusy.

Stejnou logiku použijte při porovnání se současným postupem. Sledujte také rychlost vyřízení a to, zda zaměstnancům skutečně ubyla práce. Model, který připraví levný návrh, ale prodlouží kontrolu každé zprávy, může ekonomicky prohrát s dražší variantou.

Takové měření dává prostor i menším modelům. Jestliže zvládnou konkrétní úkol dostatečně spolehlivě, nemusíte pro něj platit za schopnosti, které nevyužijete. Výběr se tím opře o vlastní provoz a předem stanovenou úroveň kvality.

Vlastní server je samostatné rozhodnutí

Otevřené AI modely nemusíte automaticky provozovat na vlastním počítači. Dokumentace Ollamy popisuje také cloudový provoz, při němž model běží na vzdálených serverech a není nutné jej stahovat. Dostupnost vah a místo zpracování jsou dvě odlišné vlastnosti.

Pro malý tým může být rozumné začít u spravované služby a nejprve ověřit, zda automatizace vůbec pomáhá. U vlastního provozu musíte započítat nákup či pronájem vybavení, aktualizace i řešení výpadků a zohlednit, kolik kapacity skutečně využijete. Rozhodnutí proto patří do stejného propočtu jako skutečná úspora při provozu AI bez vlastní grafické karty.

Vlastní zařízení může dávat smysl při stabilním vytížení nebo požadavku na místní zpracování. Při občasných špičkách ale může firma platit za kapacitu, kterou po zbytek času nevyužije. Připočtěte také čas člověka, který provoz zajistí; v malém podniku může stejný člověk současně vyvíjet produkt nebo pečovat o zákazníky.

Češtinu prověřte na skutečné práci

Výběr modelu pro českou firmu začíná u českých zadání. Připravte si anonymizované příklady běžných i obtížných situací: zprávu s překlepy, neúplnou objednávku, nejednoznačný název výrobku nebo dotaz, na který v podkladech chybí odpověď. Plynulá čeština je jen část výsledku; podstatné je také správné zacházení s údaji a nejistotou.

V našem modelovém obchodě může zákazník změnit adresu, ale zásilka už mezitím odešla. Model potřebuje aktuální stav objednávky a pravidla dalšího postupu. Bez znalosti zákazníka a firemních souvislostí mu samotná schopnost hezky formulovat odpověď nepomůže.

Předem si proto určete pravidla práce AI agentů ve firmě: kdy mohou připravit návrh, kdy smějí provést změnu a kdy musí předat případ člověku. Pokud levnější model opakovaně selže, další pokusy mohou jen zvyšovat účet. Součástí postupu má být jasné pravidlo, kdy pokusy ukončit a obrátit se na člověka.

Výsledky vyhodnocujte podle předem sepsaných kritérií a pokud možno bez znalosti použitého modelu. Vedle průměru sledujte i nejdražší chyby: špatně vyřízený složitý případ může znehodnotit úsporu na mnoha jednoduchých. Časté rutinní dotazy a vzácné výjimky proto ve výsledcích rozlište.

Uchovejte si také stejnou sadu zadání pro příští srovnání. Nový model může jinak zacházet s pokyny nebo formátem odpovědi, takže pouhá výměna názvu v nastavení nestačí. Možnost změnit model má cenu tehdy, když ji firma dokáže skutečně využít.

Co si odnést do vlastní firmy

Vyberte jeden opakující se úkol a napište, podle čeho poznáte správný výsledek. Na stejné sadě případů a se stejnými podklady porovnejte současný postup s vybraným otevřeným modelem a další dostupnou variantou. Zahrňte kontrolu, opravy i provozní práci a určete, jaká kvalita je pro zákazníka přijatelná.

Nasazení rozšiřujte tam, kde měření prokáže přínos. Otevřené modely vám dávají další možnosti, jak potřebnou práci zvládnout za přijatelnou cenu. Ušetřený čas pak můžete věnovat tomu, co zákazník opravdu pozná: rychlejšímu vyřízení problému nebo lepší službě.

Do ceny automatizace patří i čas lidí, kteří opravují její chyby.

Možnost změnit model má cenu tehdy, když ji firma dokáže skutečně využít.

▶

Původní díl na YouTube: Y Combinator.

Zdroje

• Y Combinator: Jak otevřené modely mění ekonomiku umělé inteligence — Rozhovor s Jeffreym Morganem, spoluzakladatelem a šéfem Ollamy. Údaj o 150násobné spotřebě a charakteristika trendu vycházejí z popisu pořadu zveřejněného kanálem; čas 03:31 z přehledu kapitol. Úplný přepis nebyl k dispozici.
• Ollama: provoz modelů v cloudu — Oficiální dokumentace potvrzuje možnost používat cloudové modely bez jejich stažení.