AI-gebruikskosten ontstaan bij inferentie

Een model wordt één keer getraind, maar het draaien ervan kost geld bij elk antwoord.

Voor een kleine ondernemer lijken AI-gebruikskosten op de factuur vaak eenvoudig: een maandbedrag of een prijs per hoeveelheid gebruikte tekst. Achter die prijs zit echter een hele keten die in gang wordt gezet zodra een klantenservice-assistent een vraag beantwoordt of een tool een e-mail samenvat. Dit draaien van het model heet inferentie (in het Engels inference).

De YC Paper Club-aflevering Why Inference Matters 12x More Than Training van Y Combinator gaat precies hierover. Volgens de beschrijving van de aflevering gaan er voor elke rekenbewerking die voor het trainen van een model is gebruikt, jaarlijks ongeveer zes naar het draaien ervan. De beschrijving stelt ook dat het oplossen van inferentie het afgelopen decennium meer dan 220 miljard dollar aan marktwaarde heeft opgeleverd. De cijfers zijn van YC zelf en zijn hier niet apart gecontroleerd.

Elk antwoord gaat door vele lagen

Volgens de beschrijving is inferentie veel meer dan een model aanroepen. Elk gegenereerd stukje tekst, een token, moet door routering, caching, planning, rekenkernels, geheugen en hardware. Tegelijk moeten snelheid, kosten en kwaliteit tegen elkaar worden afgewogen.

In de aflevering komen onderzoekers en bouwers van Together AI, Ollama, Luminal, SGLang en RadixArk aan het woord. Op 12:14 in het programma loopt Dan Fu de levenscyclus van een inferentieverzoek door. Volgens de beschrijving laat de aflevering zien hoe een token van een API-verzoek naar de GPU en weer terug reist.

Als ondernemer hoef je deze lagen niet zelf te kunnen afstellen. Het is wel goed om te weten dat ze bestaan, want ze verklaren waarom twee diensten die er van buiten hetzelfde uitzien verschillend kunnen kosten en verschillend snel kunnen antwoorden. We schreven eerder over wat je over AI-kosten moet vragen voordat je in goedkopere rekenkracht gelooft.

Hetzelfde model is niet altijd dezelfde dienst

Volgens de beschrijving zoekt de aflevering uit waarom hetzelfde open model anders kan werken, afhankelijk van wie het draait. De titel van het onderdeel op 42:18 vat het samen: volgens Jeff Morgan zijn niet alle tokens van een open model gelijk.

Voor mij is dit de meest praktische les van de aflevering voor een klein bedrijf. Als een aanbieder zegt dat hij een bekend open model gebruikt, zegt de naam van het model nog niet alles. Mijn voorstel: vergelijk diensten met je eigen voorbeelden. Geef twee diensten dezelfde tien typische klantvragen en vergelijk de kwaliteit van de antwoorden, de reactietijd en de prijs. In ons eerdere artikel over open AI-modellen bespraken we hoe openheid een bedrijf de vrijheid kan geven om van leverancier te wisselen. Die vrijheid heeft alleen zin als je de alternatieven ook test.

Compilers en caching maken inferentie efficiënter

Volgens de beschrijving richt het laatste deel van de aflevering zich op nieuwe manieren om inferentie sneller en duidelijk efficiënter te maken. Op 1:04:31 vertelt Joe Fioti over het compileren van modellen met behulp van zoeken in plaats van kant-en-klare vuistregels. Op 1:30:30 bespreekt Liangsheng Yin SGLang en geheugen in het tijdperk van agents.

Agents zijn hier een interessant detail. Wanneer AI een taak in meerdere stappen uitvoert, doet ze meerdere opeenvolgende aanroepen en heeft ze eerdere informatie opnieuw nodig. Dan heeft het beheer van geheugen en cache direct invloed op de kosten. We schreven eerder waarom een AI-agent een goed werkende werkomgeving nodig heeft en waarom je de kosten het best per afgerond werk berekent.

Wat vraag je als ondernemer aan een aanbieder van AI-diensten?

De aflevering is technisch en lang, maar je kunt er een paar vragen voor de inkoop uit afleiden:

• Wat kost één typische taak, bijvoorbeeld één antwoord van de klantenservice, bij ons gebruik?
• Hoe snel antwoordt de dienst in drukke tijden, en hoe zie je dat terug in de prijs?
• Welk model gebruikt de dienst, en wie draait het?
• Verandert de kwaliteit als de dienst de belasting naar een goedkopere oplossing verschuift?

AI-gebruikskosten beoordeel je dus over de hele levenscyclus, niet alleen op basis van de prijs bij de start. Het model wordt één keer getraind, maar jouw bedrijf betaalt voor elk antwoord zolang de dienst in gebruik is. Als je prijs, snelheid en kwaliteit van je eigen gebruik meet, heb je een betere basis voor je beslissing dan de naam van het model.

▶

Bekijk de originele aflevering op YouTube: Y Combinator.

Bronnen

• Y Combinator: Why Inference Matters 12x More Than Training (YC Paper Club) — Gebaseerd op de afleveringsbeschrijving en het programma met tijdstempels van YC, niet op een gecontroleerd transcript.