Náklady na provoz AI vznikají při inferenci

Model se trénuje jednou, ale jeho provoz stojí peníze u každé odpovědi.

Na faktuře malé firmy vypadají náklady na provoz AI často jednoduše: měsíční poplatek nebo cena za zpracované množství textu. Za cenou se ale skrývá celý řetězec, který se spustí pokaždé, když asistent zákaznické podpory odpoví na dotaz nebo nástroj shrne e-mail. Tomuto běhu modelu se říká inference.

Epizoda YC Paper Club Why Inference Matters 12x More Than Training od Y Combinator se věnuje právě tomu. Podle popisu epizody připadá na každou výpočetní operaci použitou k trénování modelu ročně zhruba šest operací na jeho provoz. Popis také uvádí, že řešení inference vytvořila za poslední desetiletí tržní hodnotu přes 220 miliard dolarů. Čísla pocházejí přímo od YC a zde jsem je samostatně neověřovala.

Každá odpověď prochází mnoha vrstvami

Podle popisu je inference mnohem víc než jen volání modelu. Každý vygenerovaný kousek textu, tedy token, musí projít směrováním, mezipamětí, plánováním, výpočetními jádry, pamětí a hardwarem. Zároveň je nutné vyvažovat rychlost, náklady a kvalitu.

V epizodě vystupují výzkumníci a vývojáři z Together AI, Ollama, Luminal a také ze SGLang a RadixArk. V čase 12:14 programu Dan Fu prochází životní cyklus požadavku na inferenci. Podle popisu epizoda ukazuje, jak token putuje od požadavku API ke grafickému procesoru a zpět.

Podnikatel nemusí umět tyto vrstvy ladit. Přesto se vyplatí vědět, že existují, protože vysvětlují, proč dvě navenek stejné služby mohou stát různě a odpovídat různou rychlostí. Už dříve jsme psali o tom, jak u AI poznat skutečnou úsporu a na co se ptát, než uvěříte levnějším výpočtům.

Stejný model není vždy stejná služba

Podle popisu epizoda vysvětluje, proč se stejný otevřený model může chovat různě podle toho, kdo ho provozuje. Název části v čase 42:18 to vystihuje: jak říká Jeff Morgan, ne všechny tokeny otevřeného modelu jsou stejné.

Považuji to za nejpraktičtější poučení z epizody pro malou firmu. Když poskytovatel říká, že používá známý otevřený model, název modelu ještě neřekne vše. Navrhuji porovnat služby na vlastních příkladech. Zadejte dvěma službám stejných deset typických dotazů zákazníků a porovnejte kvalitu odpovědí, dobu odezvy a cenu. V dřívějším článku o otevřených AI modelech jsme se zabývali tím, jak může otevřenost dát firmě svobodu změnit dodavatele. Tato svoboda je užitečná jen tehdy, když alternativy opravdu vyzkoušíte.

Kompilátory a mezipaměť zefektivňují inferenci

Podle popisu se závěrečná část epizody soustředí na nové způsoby, jak inferenci zrychlit a výrazně zefektivnit. V čase 1:04:31 mluví Joe Fioti o kompilaci modelů pomocí vyhledávání místo hotových heuristik. V čase 1:30:30 se Liangsheng Yin věnuje SGLang a paměti v éře agentů.

Agenti jsou tu zajímavým detailem. Když AI zvládá vícekrokový úkol, provádí několik po sobě jdoucích volání a znovu potřebuje dřívější informace. Správa paměti a mezipaměti pak přímo ovlivňuje náklady. Dříve jsme psali o tom, proč AI agent potřebuje funkční pracovní prostředí a proč se vyplatí počítat náklady z hotové práce.

Na co se má podnikatel zeptat dodavatele AI služby?

Epizoda je technická a dlouhá, ale dá se z ní odvodit několik otázek pro nákup:

• Kolik stojí jeden typický úkol, například jedna odpověď zákaznické podpory, při našem způsobu používání?
• Jak rychle služba odpovídá ve špičce a jak se to promítá do ceny?
• Jaký model služba používá a kdo ho provozuje?
• Mění se kvalita, pokud služba přesouvá zátěž na levnější řešení?

Náklady na provoz AI se proto vyplatí posuzovat za celý životní cyklus, ne jen podle ceny zavedení. Model se trénuje jednou, ale vaše firma platí za každou odpověď, dokud službu používá. Když změříte cenu, rychlost a kvalitu pro svůj způsob používání, získáte lepší základ pro rozhodnutí, než jaký dává název modelu.

▶

Podívejte se na původní epizodu na YouTube: Y Combinator.

Zdroje

• Y Combinator: Why Inference Matters 12x More Than Training (YC Paper Club) — Zdrojem je popis epizody od YC a program s časovými značkami, nikoli ověřený přepis.