DI naudojimo išlaidos atsiranda išvedimo metu

Modelis apmokomas vieną kartą, bet jo vykdymas kainuoja už kiekvieną atsakymą.

Mažos įmonės sąskaitoje DI naudojimo išlaidos dažnai atrodo paprastos: mėnesio mokestis arba kaina už sunaudotą teksto kiekį. Tačiau už kainos slypi visa grandinė, kuri įsijungia kaskart, kai klientų aptarnavimo asistentas atsako į klausimą ar įrankis apibendrina el. laišką. Toks modelio vykdymas vadinamas išvedimu, angliškai inference.

Y Combinator YC Paper Club epizodas Why Inference Matters 12x More Than Training nagrinėja būtent tai. Pagal epizodo aprašymą kiekvienai modelio mokymui panaudotai skaičiavimo operacijai kasmet tenka maždaug šešios jo vykdymo operacijos. Aprašyme taip pat teigiama, kad išvedimo sprendimai per pastarąjį dešimtmetį sukūrė daugiau nei 220 milijardų dolerių rinkos vertės. Skaičiai yra pačios YC, ir aš jų čia atskirai netikrinau.

Kiekvienas atsakymas pereina per daugybę sluoksnių

Pagal aprašymą išvedimas yra kur kas daugiau nei modelio iškvietimas. Kiekvienas sugeneruotas teksto vienetas, tokenas, turi pereiti maršrutizavimą, spartinančiąją atmintinę, planavimą, skaičiavimo branduolius, atmintį ir aparatinę įrangą. Kartu reikia rasti pusiausvyrą tarp greičio, išlaidų ir kokybės.

Epizode dalyvauja tyrėjai ir kūrėjai iš Together AI, Ollama, Luminal, taip pat SGLang ir RadixArk. Programos vietoje 12:14 Dan Fu aptaria išvedimo užklausos gyvavimo ciklą. Pagal aprašymą epizodas parodo, kaip tokenas keliauja nuo API užklausos iki grafikos procesoriaus ir atgal.

Verslininkui nebūtina mokėti derinti šių sluoksnių. Vis dėlto verta žinoti, kad jie egzistuoja, nes jie paaiškina, kodėl dvi iš pažiūros panašios paslaugos gali kainuoti skirtingai ir atsakyti skirtingu greičiu. Anksčiau rašėme apie tai, kada DI infrastruktūroje verta dairytis už GPU ribų ir ko paklausti prieš patikint pigesniais skaičiavimais.

Tas pats modelis ne visada yra ta pati paslauga

Pagal aprašymą epizode aiškinamasi, kodėl tas pats atvirasis modelis gali veikti skirtingai, priklausomai nuo to, kas jį vykdo. Programos vietos 42:18 pavadinimas tai apibendrina: kaip teigia Jeff Morgan, ne visi atvirojo modelio tokenai yra vienodi.

Manau, tai praktiškiausia epizodo pamoka mažai įmonei. Kai paslaugos teikėjas sako naudojantis žinomą atvirąjį modelį, modelio pavadinimas dar nepasako visko. Siūlyčiau palyginti paslaugas su savo pavyzdžiais. Pateik dviem paslaugoms tuos pačius dešimt tipinių klientų klausimų ir palygink atsakymų kokybę, atsakymo laiką ir kainą. Ankstesniame straipsnyje apie atviruosius DI modelius svarstėme, kaip atvirumas gali suteikti įmonei laisvę keisti tiekėją. Ši laisvė naudinga tik tada, jei alternatyvas iš tikrųjų išbandai.

Kompiliatoriai ir spartinančioji atmintinė daro išvedimą efektyvesnį

Pagal aprašymą baigiamoji epizodo dalis skirta naujiems būdams, kaip išvedimą padaryti greitesnį ir gerokai efektyvesnį. Vietoje 1:04:31 Joe Fioti kalba apie modelių kompiliavimą naudojant paiešką vietoj iš anksto nustatytų nykščio taisyklių. Vietoje 1:30:30 Liangsheng Yin aptaria SGLang ir atmintį agentų eroje.

Agentai čia yra įdomi detalė. Kai DI atlieka kelių žingsnių užduotį, jis atlieka kelis iškvietimus iš eilės ir vėl naudoja ankstesnę informaciją. Tada atminties ir spartinančiosios atmintinės valdymas tiesiogiai veikia išlaidas. Anksčiau rašėme, kodėl DI agentams pirmiausia reikia sutvarkytos darbo aplinkos ir kodėl išlaidas verta skaičiuoti pagal atliktą darbą.

Ko verslininkui verta paklausti DI paslaugos teikėjo?

Epizodas techniškas ir ilgas, tačiau iš jo galima išvesti kelis klausimus pirkimui:

• Kiek mūsų atveju kainuoja viena tipinė užduotis, pavyzdžiui, vienas klientų aptarnavimo atsakymas?
• Kaip greitai paslauga atsako piko metu ir kaip tai atsispindi kainoje?
• Kokį modelį naudoja paslauga ir kas jį vykdo?
• Ar keičiasi kokybė, jei paslauga perkelia apkrovą į pigesnį sprendimą?

Todėl DI naudojimo išlaidas verta vertinti per visą gyvavimo ciklą, o ne vien pagal diegimo kainą. Modelis apmokomas vieną kartą, bet tavo įmonė moka už kiekvieną atsakymą tol, kol paslauga naudojama. Kai išmatuoji savo naudojimo būdo kainą, greitį ir kokybę, gauni geresnį pagrindą sprendimui nei modelio pavadinimas.

▶

Originalų epizodą žiūrėk YouTube: Y Combinator.

Šaltiniai

• Y Combinator: Why Inference Matters 12x More Than Training (YC Paper Club) — Šaltinis: YC epizodo aprašymas ir programa su laiko žymomis, o ne patikrinta stenograma.