MI lietošanas izmaksas rodas secināšanas posmā

Modeli apmāca vienu reizi, bet tā darbināšana maksā par katru atbildi.

Mazā uzņēmuma rēķinā MI lietošanas izmaksas bieži izskatās vienkāršas: mēneša maksa vai cena par izmantoto teksta apjomu. Taču aiz cenas slēpjas vesela ķēde, kas iedarbojas ikreiz, kad klientu apkalpošanas asistents atbild uz jautājumu vai rīks apkopo e-pastu. Šo modeļa darbināšanu sauc par secināšanu, angliski inference.

Y Combinator YC Paper Club epizode Why Inference Matters 12x More Than Training runā tieši par to. Saskaņā ar epizodes aprakstu uz katru modeļa apmācībā izmantoto skaitļošanas operāciju tā darbināšanai ik gadu tiek patērētas aptuveni sešas. Aprakstā arī teikts, ka secināšanas risinājumi pēdējās desmitgades laikā radījuši vairāk nekā 220 miljardu dolāru tirgus vērtību. Skaitļi ir pašas YC, un es tos šeit atsevišķi neesmu pārbaudījusi.

Katra atbilde iziet cauri daudziem slāņiem

Saskaņā ar aprakstu secināšana ir daudz vairāk nekā modeļa izsaukšana. Katram ģenerētajam teksta fragmentam jeb tokenam jāiziet cauri maršrutēšanai, kešatmiņai, plānošanai, skaitļošanas kodoliem, atmiņai un aparatūrai. Vienlaikus jāatrod līdzsvars starp ātrumu, izmaksām un kvalitāti.

Epizodē piedalās pētnieki un izstrādātāji no Together AI, Ollama, Luminal, kā arī SGLang un RadixArk. Programmas laikā 12:14 Dan Fu izskaidro secināšanas pieprasījuma dzīves ciklu. Saskaņā ar aprakstu epizode parāda, kā tokens ceļo no API pieprasījuma līdz grafiskajam procesoram un atpakaļ.

Uzņēmējam nav jāprot šos slāņus noregulēt. Tomēr ir vērts zināt, ka tie pastāv, jo tie izskaidro, kāpēc divi no ārpuses līdzīgi pakalpojumi var maksāt atšķirīgi un atbildēt ar atšķirīgu ātrumu. Iepriekš esam rakstījuši par to, cik patiesībā maksā mākslīgā intelekta rezultāts un ko vērts pajautāt, pirms noticēt lētākai skaitļošanai.

Tas pats modelis ne vienmēr ir tas pats pakalpojums

Saskaņā ar aprakstu epizodē tiek skaidrots, kāpēc viens un tas pats atvērtais modelis var darboties atšķirīgi atkarībā no tā, kas to darbina. Programmas punkta 42:18 nosaukums to izsaka kodolīgi: kā saka Jeff Morgan, ne visi atvērtā modeļa tokeni ir vienādi.

Manuprāt, tā ir epizodes praktiskākā mācība mazam uzņēmumam. Kad pakalpojuma sniedzējs saka, ka izmanto zināmu atvērto modeli, modeļa nosaukums vēl nepasaka visu. Iesaku salīdzināt pakalpojumus ar saviem piemēriem. Uzdod diviem pakalpojumiem tos pašus desmit tipiskos klientu jautājumus un salīdzini atbilžu kvalitāti, atbildes laiku un cenu. Iepriekšējā rakstā par atvērtajiem MI modeļiem spriedām, kā atvērtība var dot uzņēmumam brīvību mainīt piegādātāju. Šī brīvība ir noderīga tikai tad, ja alternatīvas arī tiešām izmēģini.

Kompilatori un kešatmiņa padara secināšanu efektīvāku

Saskaņā ar aprakstu epizodes noslēguma daļa pievēršas jauniem veidiem, kā padarīt secināšanu ātrāku un ievērojami efektīvāku. Laikā 1:04:31 Joe Fioti runā par modeļu kompilēšanu ar meklēšanas palīdzību, nevis ar gataviem īkšķa likumiem. Laikā 1:30:30 Liangsheng Yin aplūko SGLang un atmiņu aģentu laikmetā.

Aģenti šeit ir interesanta detaļa. Kad MI veic vairāku soļu uzdevumu, tas veic vairākus secīgus izsaukumus un atkārtoti izmanto iepriekšējo informāciju. Tad atmiņas un kešatmiņas pārvaldība tieši ietekmē izmaksas. Iepriekš rakstījām, kāpēc MI aģentiem uzņēmumā vajag skaidru darba kārtību un kāpēc izmaksas vērts rēķināt par paveiktu darbu.

Ko uzņēmējam vērts pajautāt MI pakalpojuma sniedzējam?

Epizode ir tehniska un gara, taču no tās var atvasināt dažus jautājumus iepirkumam:

• Cik mūsu lietojumā maksā viens tipisks uzdevums, piemēram, viena klientu apkalpošanas atbilde?
• Cik ātri pakalpojums atbild noslogotākajā laikā, un kā tas atspoguļojas cenā?
• Kādu modeli pakalpojums izmanto, un kas to darbina?
• Vai kvalitāte mainās, ja pakalpojums pārceļ slodzi uz lētāku risinājumu?

Tāpēc MI lietošanas izmaksas vērts vērtēt visā dzīves ciklā, nevis tikai pēc ieviešanas cenas. Modeli apmāca vienreiz, bet tavs uzņēmums maksā par katru atbildi tik ilgi, kamēr pakalpojums tiek lietots. Ja izmēri savas lietošanas cenu, ātrumu un kvalitāti, tev būs labāks pamats lēmumam nekā modeļa nosaukums.

▶

Skaties oriģinālo epizodi YouTube: Y Combinator.

Avoti

• Y Combinator: Why Inference Matters 12x More Than Training (YC Paper Club) — Avots: YC epizodes apraksts un programma ar laika zīmogiem, nevis pārbaudīts transkripts.