Stroški uporabe umetne inteligence nastajajo pri sklepanju

Model se trenira enkrat, njegovo poganjanje pa stane pri vsakem odgovoru.

Stroški uporabe umetne inteligence so na računu malega podjetnika pogosto videti preprosti: mesečna naročnina ali cena glede na količino obdelanega besedila. Za ceno pa stoji cela veriga, ki se sproži vsakič, ko asistent za podporo strankam odgovori na vprašanje ali orodje povzame e-poštno sporočilo. Temu poganjanju modela rečemo sklepanje (inferenca, angleško inference).

Epizoda YC Paper Club Why Inference Matters 12x More Than Training Y Combinatorja obravnava prav to. Po opisu epizode na vsako računsko operacijo, porabljeno za treniranje modela, letno odpade približno šest operacij za njegovo poganjanje. V opisu je navedeno tudi, da je reševanje sklepanja v zadnjem desetletju ustvarilo več kot 220 milijard dolarjev tržne vrednosti. Številke so YC-jeve in jih tukaj nismo posebej preverili.

Vsak odgovor gre skozi veliko plasti

Po opisu je sklepanje veliko več kot klicanje modela. Vsak ustvarjeni delček besede, torej token, mora iti skozi usmerjanje, predpomnilnik, razporejanje, računska jedra, pomnilnik in strojno opremo. Hkrati je treba uravnotežiti hitrost, strošek in kakovost.

V epizodi sodelujejo raziskovalci in razvijalci iz podjetij Together AI, Ollama in Luminal ter iz SGLanga in RadixArka. V delu programa pri 12:14 Dan Fu predstavi življenjski cikel zahteve za sklepanje. Po opisu epizoda pokaže, kako token potuje od zahteve API do grafičnega procesorja in nazaj.

Podjetniku teh plasti ni treba znati nastavljati. Vseeno je dobro vedeti, da obstajajo, saj pojasnjujejo, zakaj lahko dve na videz enaki storitvi stanejo različno in odgovarjata z različno hitrostjo. Že prej smo pisali o tem, kaj vprašati o stroških umetne inteligence, preden verjamete v cenejše računanje.

Isti model ni vedno ista storitev

Po opisu epizoda pojasni, zakaj lahko isti odprti model deluje različno glede na to, kdo ga poganja. Naslov dela programa pri 42:18 to strne: po besedah Jeffa Morgana niso vsi tokeni odprtega modela enaki.

To se mi zdi najbolj praktičen nauk epizode za malo podjetje. Ko ponudnik pove, da uporablja znan odprti model, ime modela še ne pove vsega. Predlagam, da storitve primerjate na lastnih primerih. Dvema storitvama zastavite istih deset tipičnih vprašanj strank in primerjajte kakovost odgovorov, odzivni čas in ceno. V prejšnjem članku o odprtih modelih umetne inteligence smo razmišljali, kako lahko odprtost podjetju da svobodo pri menjavi dobavitelja. Ta svoboda je koristna le, če alternative tudi preizkusite.

Prevajalniki in predpomnilnik naredijo sklepanje učinkovitejše

Zadnji del epizode se po opisu osredotoča na nove načine, kako sklepanje pospešiti in ga narediti precej učinkovitejšega. Pri 1:04:31 Joe Fioti govori o prevajanju modelov s pomočjo iskanja namesto vnaprej pripravljenih pravil palca. Pri 1:30:30 Liangsheng Yin obravnava SGLang in pomnilnik v dobi agentov.

Agenti so tu zanimiva podrobnost. Ko umetna inteligenca opravlja večstopenjsko nalogo, izvede več zaporednih klicev in znova potrebuje prejšnje podatke. Takrat upravljanje pomnilnika in predpomnilnika neposredno vpliva na strošek. Že prej smo pisali, zakaj agent umetne inteligence potrebuje delujoče delovno okolje in zakaj se strošek splača računati po opravljenem delu.

Kaj naj podjetnik vpraša ponudnika storitve umetne inteligence?

Epizoda je tehnična in dolga, vendar iz nje lahko izpeljemo nekaj vprašanj za nabavo:

• Koliko pri naši uporabi stane ena tipična naloga, na primer en odgovor podpore strankam?
• Kako hitro storitev odgovarja v času največje obremenitve in kako se to pozna pri ceni?
• Kateri model storitev uporablja in kdo ga poganja?
• Ali se kakovost spremeni, če storitev preusmeri obremenitev na cenejšo rešitev?

Stroške uporabe umetne inteligence je zato smiselno ocenjevati skozi celoten življenjski cikel, ne le po ceni uvedbe. Model se trenira enkrat, vaše podjetje pa plačuje vsak odgovor, dokler uporablja storitev. Ko izmerite ceno, hitrost in kakovost lastnega načina uporabe, dobite boljšo podlago za odločitev kot iz imena modela.

▶

Oglejte si izvirno epizodo na YouTubu: Y Combinator.

Viri

• Y Combinator: Why Inference Matters 12x More Than Training (YC Paper Club) — Vir sta YC-jev opis epizode in program s časovnimi oznakami, ne preverjen prepis.