AI futtatási költségek: az inferencia dönti el az árat

A modellt egyszer tanítják be, a futtatásáért viszont minden válasznál fizetni kell.

Az AI futtatási költségek egy kisvállalkozó számláján gyakran egyszerűnek tűnnek: havidíj vagy a feldolgozott szöveg mennyisége után fizetett ár. Az ár mögött azonban egy teljes lánc áll, amely minden alkalommal elindul, amikor az ügyfélszolgálati asszisztens válaszol egy kérdésre, vagy egy eszköz összefoglal egy e-mailt. A modell ilyen futtatását inferenciának (angolul inference) nevezik.

A Y Combinator YC Paper Club epizódja, a Why Inference Matters 12x More Than Training pontosan erről szól. Az epizód leírása szerint minden, a modell betanítására fordított számítási műveletre évente nagyjából hat jut a futtatására. A leírás azt is megállapítja, hogy az inferencia megoldása az elmúlt évtizedben több mint 220 milliárd dollár piaci értéket teremtett. A számok a YC saját adatai, ezeket itt külön nem ellenőriztük.

Minden válasz sok rétegen halad át

A leírás szerint az inferencia sokkal több a modell meghívásánál. Minden előállított szódarabnak, vagyis tokennek át kell haladnia az útválasztáson, a gyorsítótáron, az ütemezésen, a számítási kerneleken, a memórián és a hardveren. Közben egyensúlyt kell tartani a sebesség, a költség és a minőség között.

Az epizódban a Together AI, az Ollama, a Luminal, valamint az SGLang és a RadixArk kutatói és fejlesztői szerepelnek. A műsor 12:14-es pontján Dan Fu végigveszi egy inferenciakérés életciklusát. A leírás szerint az epizód bemutatja, hogyan jut el a token az API-kéréstől a grafikus processzorig és vissza.

A vállalkozónak nem kell tudnia ezeket a rétegeket hangolni. Érdemes viszont tudni a létezésükről, mert ezek magyarázzák, miért kerülhet két, kívülről egyforma szolgáltatás eltérő összegbe, és miért válaszolnak eltérő sebességgel. Korábban írtunk arról, mit érdemes kérdezni az AI költségeiről, mielőtt elhisszük az olcsóbb számítás ígéretét.

Ugyanaz a modell nem mindig ugyanaz a szolgáltatás

A leírás szerint az epizód azt is körüljárja, miért működhet ugyanaz a nyílt modell másként attól függően, ki futtatja. A műsor 42:18-as pontjának címe összefoglalja a lényeget: Jeff Morgan szerint egy nyílt modell nem minden tokenje egyforma.

Számomra ez az epizód leggyakorlatiasabb tanulsága egy kisvállalkozás számára. Ha a szolgáltató azt mondja, hogy egy ismert nyílt modellt használ, a modell neve még nem árul el mindent. Azt javaslom, hogy a szolgáltatásokat a saját példáival hasonlítsa össze. Adja meg két szolgáltatásnak ugyanazt a tíz tipikus ügyfélkérdést, és vesse össze a válaszok minőségét, a válaszidőt és az árat. A nyílt AI-modellekről szóló korábbi cikkünkben azt vizsgáltuk, hogyan adhat a nyitottság szabadságot a cégnek a szolgáltatóváltáshoz. Ez a szabadság csak akkor hasznos, ha az alternatívákat ki is próbálja.

A fordítóprogramok és a gyorsítótár hatékonyabbá teszik az inferenciát

A leírás szerint az epizód utolsó része azokra az új módszerekre összpontosít, amelyekkel az inferencia gyorsabbá és jóval hatékonyabbá tehető. Az 1:04:31-es pontnál Joe Fioti arról beszél, hogyan lehet a modelleket kész ökölszabályok helyett keresés segítségével lefordítani. Az 1:30:30-as pontnál Liangsheng Yin az SGLangról és a memóriáról beszél az ügynökök korában.

Az ügynökök itt érdekes részletet jelentenek. Amikor az AI többlépéses feladatot végez, egymás után több hívást indít, és újra szüksége van korábbi információkra. Ilyenkor a memória és a gyorsítótár kezelése közvetlenül befolyásolja a költséget. Korábban megírtuk, miért van szüksége az AI-ügynöknek működő munkakörnyezetre, és miért érdemes a költséget az elvégzett munkára vetítve számolni.

Mit kérdezzen a vállalkozó az AI-szolgáltatótól?

Az epizód technikai jellegű és hosszú, de néhány beszerzési kérdés levezethető belőle:

• Mennyibe kerül nálunk egy tipikus feladat, például egy ügyfélszolgálati válasz?
• Milyen gyorsan válaszol a szolgáltatás csúcsidőben, és ez hogyan jelenik meg az árban?
• Melyik modellt használja a szolgáltatás, és ki futtatja?
• Változik-e a minőség, ha a szolgáltatás olcsóbb megoldásra tereli a terhelést?

Az AI futtatási költségeket tehát a teljes életciklusra vetítve érdemes felmérni, nem csupán a bevezetés ára alapján. A modellt egyszer tanítják be, a cége azonban minden válaszért fizet, amíg a szolgáltatást használja. Ha megméri a saját felhasználási módja árát, sebességét és minőségét, jobb alapot kap a döntéséhez, mint a modell nevéből.

▶

Nézze meg az eredeti epizódot a YouTube-on: Y Combinator.

Források

• Y Combinator: Why Inference Matters 12x More Than Training (YC Paper Club) — A forrás a YC epizódleírása és időbélyegekkel ellátott műsorrendje, nem ellenőrzött átirat.