A modell árától még nem derül ki, mennyibe kerül egy hibátlan ajánlat vagy egy megoldott ügyfélkérés. A megtakarítást a teljes munkafolyamatban kell keresni.
Nyílt modellek mellett is drága maradhat az automatizálás, ha a munkatársaknak minden választ javítaniuk kell. Képzeljünk el egy magyar nagykereskedést, ahol a rendszer pillanatok alatt megírja az árajánlatot, de valaki utána egyenként ellenőrzi a cikkszámokat, a mennyiségeket és a szállítási határidőket. A gépi szöveg olcsó volt. A kész ajánlat már korántsem biztos, hogy az.
Jeffrey Morgan, az Ollama társalapítója és vezérigazgatója a Y Combinator Lightcone-beszélgetésében a költséget nevezi a nyílt modellek legfontosabb közvetlen vonzerejének, miközben a vállalatok hosszabb távon nagyobb ellenőrzést és testreszabhatóságot keresnek. Morgan érvelése a 02:13-nál kezdődő részben hallható. Ebből egy magyar vállalkozás számára az következik: a modellválasztást érdemes az elvégzett munka teljes költségéhez kötni.
Az olcsóbb használatból nagyobb számla is lehet
Morgan szerint az Ollama Cloud összesített tokenforgalma az év eleje óta százötvenszeresére nőtt. A növekedésről 04:58-nál beszél. Ez a szolgáltatás saját használati adata, amelyből önmagában sem a teljes piac növekedése, sem az ügyfelek megtakarítása nem állapítható meg.
A token a nyelvi modell által feldolgozott szöveg kisebb egysége: lehet szó, szórész vagy írásjel is. Egy többlépéses feladat során a rendszer ismételten olvashat dokumentumokat, kérhet új választ és javíthatja a korábbi próbálkozását. Így az egységár csökkenését könnyen ellensúlyozhatja a nagyobb felhasználás.
Ha például az olcsóbb működés miatt minden beérkező levélhez több válaszváltozatot készíttetsz, új kiadást vállalsz. Lehet ennek értelme, ha gyorsul az ügyintézés, de ezt külön meg kell mérni. A mesterséges intelligencia költségtervezését ezért a várható feladatmennyiségből, az ismétlésekből és az ellenőrzésből érdemes felépíteni.
Egy kész ajánlat többet mond az árlistánál
Maradjunk a képzeletbeli nagykereskedésnél. Az ajánlatkérésből először ki kell emelni a termékeket és a mennyiségeket, majd megkeresni az aktuális árakat, végül megfogalmazni a választ. Ezek különböző feladatok: a helyes cikkszám felismerése és az udvarias levél megírása másfajta hibákat hozhat elő.
Érdemes az automatizált munkafolyamatot ezekre a lépésekre bontani. A keresést elvégezheti egy meglévő adatbázis-lekérdezés, a szövegalkotást egy nyelvi modell, az árengedmény jóváhagyása pedig a kijelölt munkatársnál maradhat. Így pontosan látszik, melyik lépésen lehet egyszerűsíteni, és melyikhez kell több figyelem.
A modellpróbán azonos ajánlatkéréseket adj a jelölteknek, azonos háttéradatokkal. Számold hozzá a futtatás díjához az ellenőrzés és a javítás munkaidejét, valamint a rendszer fenntartásának ráeső költségét. Az összeget az elfogadhatóan elkészült ajánlatok számával oszd el: így kapsz a napi működésben is értelmezhető összehasonlítást.
A javítással töltött munkaidő ugyanúgy része a számlának. Külön jegyezd fel azokat a hibákat, amelyek észrevétlenül kimehetnének az ügyfélhez, mert egy hibás ár vagy vállalhatatlan határidő következménye túlmutat a szerkesztésen. A próba akkor ad használható eredményt, ha a gyors, de pontatlan megoldás gyengeségei is láthatók maradnak.
A saját gépnek is van számlája
A nyílt súlyú modell tanult paraméterei hozzáférhetők, így megfelelő hardveren saját környezetben is futtatható. Ettől még nem feltétlenül nyílt a teljes fejlesztési folyamat vagy a tanításhoz használt adathalmaz, és a felhasználási feltételeket is ellenőrizni kell. A hozzáférhetőség tehát önmagában nem jelent korlátlan vagy költségmentes használatot.
Morgan az egyszerűbb dokumentumfeldolgozási feladatoknál lát lehetőséget a helyi futtatásra, míg a nehezebb feladatokhoz felhőben működő modellek is szükségesek lehetnek. Ezt a munkamegosztást 22:10-től fejti ki. A helyi és a felhős működés kombinációja ezért ésszerű kiindulópont lehet egy vállalati próbához.
Egy kis cégnek azonban a gép beszerzésével, az árammal, a frissítésekkel és az üzemeltetésre fordított idővel is számolnia kell. Ha a feladat csak időnként jelentkezik, a kihasználatlan kapacitás megdrágíthatja a saját rendszert. A rendszeres, jól körülhatárolt munka más számítást eredményezhet, ezért a döntést a tényleges terheléshez érdemes igazítani.
Az adatok útját külön is vizsgáld meg. Az Ollama hivatalos tájékoztatója szerint helyi futtatáskor a cég nem látja a felhasználó utasításait és adatait; a felhős modelleknél viszont feldolgozza a kéréseket. A teljes alkalmazás adatkezelését a hozzákapcsolt szolgáltatások és a beállítások alapján lehet megítélni.
A magyar próba dönti el, mi használható
A vállalkozásod számára az a fontos, hogyan boldogul a rendszer a saját ügyfeleid szövegeivel. A próbába kerüljenek rövid, hiányos mondatok, elgépelések, toldalékos terméknevek és korábbi levelekre visszautaló kérések is. A szépen megírt mintafeladat kevés információt ad arról, mi történik egy sietve elküldött ajánlatkéréssel.
Értékeld külön a magyar megfogalmazást és a tartalmi pontosságot. Egy gördülékeny levélben is lehet hibás mennyiség, félreértett határidő vagy a cég által soha meg nem ígért kedvezmény. Az ellenőrzésnél kérdezd meg: ugyanazt vállalja-e a válasz, amit egy tapasztalt kolléga is jóváhagyna?
Itt válik kézzelfoghatóvá a szaktudásra épülő versenyelőny. A munkatársak tudják megmondani, mikor kell visszakérdezni, melyik termék helyettesíthető, és milyen ígéret fér bele. Ezeket az elvárásokat előre rögzítve a modell teljesítménye is következetesebben értékelhető.
Mit érdemes átvinni a napi működésbe?
Nyílt modellek bevezetésekor válassz egy ismétlődő, világosan ellenőrizhető feladatot, és előbb mérd meg a jelenlegi megoldás költségét. Ehhez viszonyítsd az új rendszer eredményét. A modellváltás akkor ér valamit, ha a munkafolyamat egésze javul.
A próba előtt határozd meg, milyen hibaarány és ellenőrzési idő fér bele, valamint ki dönt a problémás esetekben. Ha a nyílt modell ezekkel a feltételekkel kedvezőbb eredményt ad, érdemes fokozatosan több feladatot rábízni. Ha a megtakarítást felemészti a javítás, az is hasznos eredmény: megmutatja, melyik lépést kell átalakítani.
A következő modellbemutatóig sem kell várni. Vedd elő a legutóbbi ajánlatkéréseket, és az értékesítéssel foglalkozó kollégával közösen jelöld ki, milyen válasz fogadható el. Ez a konkrét mérce segít eldönteni, melyik technológia hagy több időt és pénzt a vállalkozásodban.
A javítással töltött munkaidő ugyanúgy része a számlának.
A modellváltás akkor ér valamit, ha a munkafolyamat egésze javul.
Források
- Y Combinator: a nyílt modellek üzleti hatása, beszélgetés Jeffrey Morgannel — [Jeffrey Morgan Lightcone-beszélgetése](https://www.youtube.com/watch?v=rY0wnfFHYbs). Kiemelt részek: 02:13 — költség és testreszabás; 04:58 — az Ollama Cloud tokenforgalma; 22:10 — helyi és felhős feladatvégzés.
- A Y Combinator beszélgetésének szöveges átirata — [A beszélgetés átirata](https://podscripts.co/podcasts/y-combinator-startup-podcast/open-models-change-the-economics-of-ai) a megszólalások és az időbélyegek ellenőrzéséhez.
- Ollama: gyakori kérdések a helyi és felhős működésről — [Az Ollama hivatalos dokumentációja](https://docs.ollama.com/faq) ismerteti a helyi és felhős kérések adatkezelését, valamint a felhős funkciók kikapcsolását.
Olvasd tovább
Ez is érdekelhet
Innohub TV
Nézd meg ezt a tartalmat az Innohub TV-n is
Klipeket válogattunk neked az Innohub TV-ről, amelyek ugyanezt a témát folytatják.
