Náklady na prevádzku AI vznikajú pri inferencii

Model sa trénuje raz, no jeho prevádzka stojí peniaze pri každej odpovedi.

Náklady na prevádzku AI vyzerajú na faktúre malého podnikateľa často jednoducho: mesačný poplatok alebo cena za objem spracovaného textu. Za cenou je však celý reťazec, ktorý sa spustí vždy, keď asistent zákazníckej podpory odpovie na otázku alebo nástroj zhrnie e-mail. Toto spúšťanie modelu sa nazýva inferencia (anglicky inference).

Epizóda YC Paper Club Why Inference Matters 12x More Than Training od Y Combinator sa venuje práve tomu. Podľa opisu epizódy pripadá na každú výpočtovú operáciu použitú na trénovanie modelu ročne približne šesť operácií na jeho prevádzku. Opis tiež uvádza, že riešenie inferencie vytvorilo za posledné desaťročie trhovú hodnotu viac ako 220 miliárd dolárov. Čísla sú vlastné údaje YC a tu sme ich samostatne neoverovali.

Každá odpoveď prechádza mnohými vrstvami

Podľa opisu je inferencia oveľa viac než len volanie modelu. Každá vygenerovaná časť slova, teda token, musí prejsť smerovaním, vyrovnávacou pamäťou, plánovaním, výpočtovými jadrami, pamäťou a hardvérom. Zároveň treba vyvažovať rýchlosť, náklady a kvalitu.

V epizóde vystupujú výskumníci a vývojári zo spoločností Together AI, Ollama a Luminal, ako aj zo SGLang a RadixArk. V časti programu 12:14 Dan Fu prechádza životným cyklom inferenčnej požiadavky. Podľa opisu epizóda ukazuje, ako token putuje od API požiadavky ku grafickému procesoru a späť.

Podnikateľ nemusí vedieť tieto vrstvy ladiť. Oplatí sa však vedieť, že existujú, pretože vysvetľujú, prečo dve navonok rovnaké služby môžu stáť rôzne a odpovedať rôznou rýchlosťou. Už sme písali o tom, čo sa pýtať na náklady AI predtým, než uveríte lacnejším výpočtom.

Rovnaký model nie je vždy rovnaká služba

Podľa opisu epizóda vysvetľuje, prečo môže rovnaký otvorený model fungovať inak podľa toho, kto ho prevádzkuje. Názov časti programu 42:18 to vystihuje: podľa Jeffa Morgana nie sú všetky tokeny otvoreného modelu rovnaké.

Považujem to za najpraktickejšie poučenie z epizódy pre malú firmu. Keď poskytovateľ povie, že používa známy otvorený model, samotný názov modelu ešte nehovorí všetko. Navrhovala by som, aby ste služby porovnali na vlastných príkladoch. Dajte dvom službám rovnakých desať typických otázok zákazníkov a porovnajte kvalitu odpovedí, čas odozvy a cenu. V predchádzajúcom článku o otvorených AI modeloch sme sa zamýšľali nad tým, ako môže otvorenosť dať firme slobodu zmeniť dodávateľa. Táto sloboda je užitočná, len ak alternatívy aj naozaj otestujete.

Kompilátory a vyrovnávacia pamäť robia inferenciu efektívnejšou

Záverečná časť epizódy sa podľa opisu sústreďuje na nové spôsoby, ako urobiť inferenciu rýchlejšou a výrazne efektívnejšou. V čase 1:04:31 Joe Fioti hovorí o kompilácii modelov pomocou vyhľadávania namiesto hotových empirických pravidiel. V čase 1:30:30 Liangsheng Yin rozoberá SGLang a pamäť v ére agentov.

Agenti sú tu zaujímavým detailom. Keď AI rieši viacstupňovú úlohu, robí niekoľko po sebe idúcich volaní a znova potrebuje skoršie informácie. Vtedy správa pamäte a vyrovnávacej pamäte priamo ovplyvňuje náklady. Už sme písali, prečo AI agent potrebuje funkčné pracovné prostredie a prečo sa oplatí počítať náklady na hotovú prácu.

Čo by sa mal podnikateľ pýtať dodávateľa AI služby?

Epizóda je technická a dlhá, no dá sa z nej odvodiť niekoľko otázok pre nákup:

• Koľko stojí pri našom používaní jedna typická úloha, napríklad jedna odpoveď zákazníckej podpory?
• Ako rýchlo služba odpovedá v čase špičky a ako sa to prejavuje v cene?
• Aký model služba používa a kto ho prevádzkuje?
• Zmení sa kvalita, ak služba presunie záťaž na lacnejšie riešenie?

Náklady na prevádzku AI sa preto oplatí posudzovať počas celého životného cyklu, nie iba podľa ceny zavedenia. Model sa trénuje raz, no vaša firma platí za každú odpoveď, kým službu používa. Keď si zmeriate cenu, rýchlosť a kvalitu pre vlastný spôsob používania, získate lepší základ pre rozhodnutie než z názvu modelu.

▶

Pozrite si pôvodnú epizódu na YouTube: Y Combinator.

Zdroje

• Y Combinator: Why Inference Matters 12x More Than Training (YC Paper Club) — Zdrojom je opis epizódy od YC a program s časovými značkami, nie overený prepis.