AI-driftsomkostninger opstår ved inferens

En model trænes én gang, men det koster at køre den ved hvert eneste svar.

For en selvstændig ser AI-driftsomkostninger ofte enkle ud på fakturaen: et månedligt gebyr eller en pris pr. mængde brugt tekst. Bag prisen ligger dog en hel kæde, der sættes i gang, hver gang en kundeserviceassistent besvarer et spørgsmål, eller et værktøj opsummerer en e-mail. At køre modellen på den måde kaldes inferens (på engelsk inference).

Y Combinators YC Paper Club-afsnit Why Inference Matters 12x More Than Training handler netop om dette. Ifølge afsnitsbeskrivelsen bruges der for hver beregningsoperation, der går til at træne en model, omkring seks om året på at køre den. Beskrivelsen fastslår også, at løsningen af inferens har skabt over 220 mia. dollar i markedsværdi i løbet af det seneste årti. Tallene er YC’s egne og er ikke kontrolleret særskilt her.

Hvert svar passerer mange lag

Ifølge beskrivelsen er inferens meget mere end at kalde en model. Hvert genereret tekststykke, et såkaldt token, skal igennem routing, caching, planlægning, beregningskerner, hukommelse og hardware. Samtidig skal hastighed, omkostninger og kvalitet afvejes mod hinanden.

I afsnittet medvirker forskere og udviklere fra Together AI, Ollama, Luminal, SGLang og RadixArk. Ved 12:14 i programmet gennemgår Dan Fu livscyklussen for en inferensforespørgsel. Ifølge beskrivelsen viser afsnittet, hvordan et token rejser fra en API-forespørgsel til GPU’en og tilbage igen.

Som selvstændig behøver du ikke at kunne justere disse lag. Det er alligevel godt at vide, at de findes, fordi de forklarer, hvorfor to tjenester, der ser ens ud udefra, kan koste forskelligt og svare forskelligt hurtigt. Vi har tidligere skrevet om, hvad du bør spørge om AI-omkostninger, før du tror på billigere beregningskraft.

Samme model er ikke altid samme tjeneste

Ifølge beskrivelsen undersøger afsnittet, hvorfor samme åbne model kan fungere forskelligt alt efter, hvem der kører den. Titlen på indslaget ved 42:18 siger det kort: Ifølge Jeff Morgan er ikke alle tokens fra en åben model ens.

Jeg ser det som afsnittets mest praktiske lære for en lille virksomhed. Når en leverandør fortæller, at den bruger en kendt åben model, siger modellens navn ikke det hele. Mit forslag er, at du sammenligner tjenester med dine egne eksempler. Giv to tjenester de samme ti typiske kundespørgsmål, og sammenlign svarenes kvalitet, svartiden og prisen. I vores tidligere artikel om åbne AI-modeller diskuterede vi, hvordan åbenhed kan give en virksomhed frihed til at skifte leverandør. Den frihed er kun nyttig, hvis du også tester alternativerne.

Compilere og cache gør inferens mere effektiv

Ifølge beskrivelsen fokuserer den sidste del af afsnittet på nye måder at gøre inferens hurtigere og markant mere effektiv på. Ved 1:04:31 taler Joe Fioti om at kompilere modeller ved hjælp af søgning i stedet for færdige tommelfingerregler. Ved 1:30:30 tager Liangsheng Yin fat på SGLang og hukommelse i agenternes tidsalder.

Agenter er en interessant detalje her. Når AI klarer en opgave i flere trin, foretager den flere kald efter hinanden og har brug for tidligere information igen. Så påvirker styringen af hukommelse og cache omkostningerne direkte. Vi har tidligere skrevet om, hvorfor en AI-agent har brug for en fungerende arbejdsgang, og hvorfor omkostningen bør regnes pr. færdigt stykke arbejde.

Hvad bør du som selvstændig spørge en leverandør af AI-tjenester om?

Afsnittet er teknisk og langt, men man kan udlede nogle spørgsmål til indkøbet:

• Hvad koster en typisk opgave, for eksempel et svar fra kundeservice, i vores brug?
• Hvor hurtigt svarer tjenesten i spidsbelastningen, og hvordan afspejles det i prisen?
• Hvilken model bruger tjenesten, og hvem kører den?
• Ændrer kvaliteten sig, hvis tjenesten flytter belastningen til en billigere løsning?

AI-driftsomkostninger bør altså vurderes over hele livscyklussen, ikke kun ud fra prisen for at komme i gang. Modellen trænes én gang, men din virksomhed betaler for hvert svar, så længe tjenesten bruges. Når du måler pris, hastighed og kvalitet for din egen brug, får du et bedre grundlag for din beslutning end modellens navn.

▶

Se det oprindelige afsnit på YouTube: Y Combinator.

Kilder

• Y Combinator: Why Inference Matters 12x More Than Training (YC Paper Club) — Bygger på YC’s afsnitsbeskrivelse og program med tidsstempler, ikke en kontrolleret transskription.