Troškovi umjetne inteligencije nastaju u inferenciji

Model se trenira jednom, ali njegovo pokretanje plaća se za svaki odgovor.

Troškovi umjetne inteligencije na računu malog poduzetnika često izgledaju jednostavno: mjesečna pretplata ili cijena po količini obrađenog teksta. Iza cijene ipak stoji cijeli lanac koji se pokreće svaki put kad asistent za korisničku podršku odgovori na pitanje ili alat sažme e-poruku. To pokretanje modela naziva se inferencija (engl. inference).

Y Combinatorova epizoda YC Paper Cluba Why Inference Matters 12x More Than Training bavi se upravo time. Prema opisu epizode, na svaku računsku operaciju utrošenu na treniranje modela godišnje otpada otprilike šest operacija za njegovo pokretanje. U opisu se navodi i da je rješavanje inferencije u posljednjem desetljeću stvorilo više od 220 milijardi dolara tržišne vrijednosti. Brojke su YC-jeve i ovdje ih nismo zasebno provjerili.

Svaki odgovor prolazi kroz mnogo slojeva

Prema opisu, inferencija je mnogo više od pozivanja modela. Svaki proizvedeni dio riječi, odnosno token, mora proći kroz usmjeravanje, predmemoriju, raspoređivanje, računske jezgre, memoriju i hardver. Pritom treba balansirati između brzine, troška i kvalitete.

U epizodi sudjeluju istraživači i graditelji iz tvrtki Together AI, Ollama i Luminal te iz SGLanga i RadixArka. U dijelu programa na 12:14 Dan Fu prolazi kroz životni ciklus zahtjeva za inferenciju. Prema opisu, epizoda pokazuje kako token putuje od API zahtjeva do grafičkog procesora i natrag.

Poduzetnik ne mora znati podešavati te slojeve. Ipak je korisno znati da postoje jer objašnjavaju zašto dvije usluge koje izvana izgledaju jednako mogu imati različitu cijenu i različitu brzinu odgovora. Ranije smo pisali o tome što pitati o troškovima umjetne inteligencije prije nego što povjerujete u jeftinije računanje.

Isti model nije uvijek ista usluga

Prema opisu, epizoda objašnjava zašto isti otvoreni model može raditi različito, ovisno o tome tko ga pokreće. Naslov dijela programa na 42:18 to sažima: prema Jeffu Morganu, nisu svi tokeni otvorenog modela jednaki.

To smatram najpraktičnijom poukom epizode za malo poduzeće. Kad pružatelj usluge kaže da koristi poznati otvoreni model, sam naziv modela još ne govori sve. Predložila bih da usluge usporedite na vlastitim primjerima. Dajte dvjema uslugama istih deset tipičnih pitanja kupaca i usporedite kvalitetu odgovora, vrijeme odgovora i cijenu. U ranijem članku o otvorenim AI modelima razmatrali smo kako otvorenost poduzeću može dati slobodu promjene dobavljača. Ta je sloboda korisna samo ako alternative doista i testirate.

Kompajleri i predmemorija čine inferenciju učinkovitijom

Završni dio epizode, prema opisu, usredotočuje se na nove načine da inferencija postane brža i znatno učinkovitija. Na 1:04:31 Joe Fioti govori o kompajliranju modela uz pomoć pretraživanja umjesto gotovih pravila palca. Na 1:30:30 Liangsheng Yin govori o SGLangu i memoriji u doba agenata.

Agenti su ovdje zanimljiv detalj. Kad umjetna inteligencija obavlja zadatak u više koraka, šalje nekoliko uzastopnih poziva i ponovno treba ranije podatke. Tada upravljanje memorijom i predmemorijom izravno utječe na trošak. Ranije smo pisali zašto AI agentu treba dobro uređeno radno okruženje i zašto trošak vrijedi računati po obavljenom poslu.

Što poduzetnik treba pitati dobavljača AI usluge?

Epizoda je tehnička i duga, ali iz nje se može izvesti nekoliko pitanja za nabavu:

• Koliko u našoj upotrebi košta jedan tipičan zadatak, primjerice jedan odgovor korisničke podrške?
• Koliko brzo usluga odgovara u vrijeme najvećeg opterećenja i kako se to odražava na cijenu?
• Koji model usluga koristi i tko ga pokreće?
• Mijenja li se kvaliteta ako usluga prebaci opterećenje na jeftinije rješenje?

Troškove umjetne inteligencije zato vrijedi procjenjivati kroz cijeli životni ciklus, a ne samo prema cijeni uvođenja. Model se trenira jednom, ali vaše poduzeće plaća svaki odgovor sve dok koristi uslugu. Kad izmjerite cijenu, brzinu i kvalitetu za vlastiti način korištenja, dobit ćete bolju podlogu za odluku nego što je daje naziv modela.

▶

Pogledajte izvornu epizodu na YouTubeu: Y Combinator.

Izvori

• Y Combinator: Why Inference Matters 12x More Than Training (YC Paper Club) — Izvor su YC-jev opis epizode i program s vremenskim oznakama, a ne provjereni transkript.