AI-driftkostnader avgörs vid inferens

En modell tränas en gång, men att köra den kostar för varje svar.

För en småföretagare ser AI-driftkostnader ofta enkla ut på fakturan: en månadsavgift eller ett pris per mängd använd text. Bakom priset finns ändå en hel kedja som startar varje gång en kundtjänstassistent svarar på en fråga eller ett verktyg sammanfattar ett mejl. Att köra modellen på det här sättet kallas inferens (på engelska inference).

Y Combinators YC Paper Club-avsnitt Why Inference Matters 12x More Than Training handlar om just detta. Enligt avsnittsbeskrivningen går det för varje beräkningsoperation som används för att träna en modell åt ungefär sex per år till att köra den. Beskrivningen konstaterar också att lösningen av inferensproblemet har skapat över 220 miljarder dollar i marknadsvärde under det senaste decenniet. Siffrorna är YC:s egna och har inte kontrollerats separat här.

Varje svar passerar många lager

Enligt beskrivningen är inferens mycket mer än att anropa en modell. Varje genererad textbit, en så kallad token, måste passera routning, cachning, schemaläggning, beräkningskärnor, minne och hårdvara. Samtidigt måste hastighet, kostnad och kvalitet vägas mot varandra.

I avsnittet medverkar forskare och utvecklare från Together AI, Ollama, Luminal, SGLang och RadixArk. Vid 12:14 i programmet går Dan Fu igenom livscykeln för en inferensförfrågan. Enligt beskrivningen visar avsnittet hur en token färdas från en API-förfrågan till grafikprocessorn och tillbaka.

Som företagare behöver du inte kunna justera de här lagren. Det är ändå bra att veta att de finns, eftersom de förklarar varför två tjänster som ser likadana ut på ytan kan kosta olika mycket och svara olika snabbt. Vi har tidigare skrivit om vad du bör fråga om AI-kostnader innan du tror på billigare beräkningar.

Samma modell är inte alltid samma tjänst

Enligt beskrivningen reder avsnittet ut varför samma öppna modell kan fungera olika beroende på vem som kör den. Rubriken för inslaget vid 42:18 sammanfattar saken: enligt Jeff Morgan är inte alla tokens från öppna modeller likadana.

Jag ser det här som avsnittets mest praktiska lärdom för ett litet företag. När en leverantör berättar att den använder en välkänd öppen modell säger modellens namn inte allt. Mitt förslag är att du jämför tjänster med dina egna exempel. Ge två tjänster samma tio typiska kundfrågor och jämför svarens kvalitet, svarstiden och priset. I vår tidigare artikel om öppna AI-modeller diskuterade vi hur öppenhet kan ge ett företag frihet att byta leverantör. Den friheten är bara till nytta om du också testar alternativen.

Kompilatorer och cache gör inferensen effektivare

Enligt beskrivningen fokuserar avsnittets sista del på nya sätt att göra inferens snabbare och betydligt effektivare. Vid 1:04:31 talar Joe Fioti om att kompilera modeller med hjälp av sökning i stället för färdiga tumregler. Vid 1:30:30 tar Liangsheng Yin upp SGLang och minne i agenternas tidsålder.

Agenterna är en intressant detalj här. När AI sköter en uppgift i flera steg gör den flera anrop i följd och behöver tidigare information igen. Då påverkar hanteringen av minne och cache kostnaden direkt. Vi skrev tidigare om varför en AI-agent behöver en fungerande arbetsmiljö och varför kostnaden bör räknas per färdigt arbete.

Vad bör företagare fråga en leverantör av AI-tjänster?

Avsnittet är tekniskt och långt, men det går att härleda några frågor inför en upphandling:

• Vad kostar en typisk uppgift, till exempel ett kundtjänstsvar, i vår användning?
• Hur snabbt svarar tjänsten under rusningstid, och hur syns det i priset?
• Vilken modell använder tjänsten, och vem kör den?
• Förändras kvaliteten om tjänsten flyttar belastning till en billigare lösning?

AI-driftkostnader bör alltså bedömas över hela livscykeln, inte bara utifrån priset för att komma i gång. Modellen tränas en gång, men ditt företag betalar för varje svar så länge tjänsten används. När du mäter pris, hastighet och kvalitet för ditt eget användningssätt får du ett bättre underlag för ditt beslut än modellens namn.

▶

Se originalavsnittet på YouTube: Y Combinator.

Källor

• Y Combinator: Why Inference Matters 12x More Than Training (YC Paper Club) — Bygger på YC:s avsnittsbeskrivning och tidsstämplade programinnehåll, inte en kontrollerad transkription.