Tokenizálás: az MI láthatatlan nyelve, amely megszabja a feldolgozás határait és költségeit

1. Bevezetés: miért nem úgy „olvas” az MI, mint az ember?

Amikor az ember ezt a mondatot olvassa: „Egy finn vállalkozó nemzetközi növekedésre készülő céget épít”, szavakat és jelentéseket lát, és talán a helyzetet is maga elé képzeli: az alapítót, a csapatot, a tőkebevonási kört, a bizonytalanságot és az ambíciót.

Az MI egészen mást lát. Nem a szavakból indul ki, hanem kisebb darabokra, tokenekre bontja a szöveget. Egy token lehet egész szó, szórész, írásjel, vagy akár olyan karaktersorozat is, amely az ember szemében alig hordoz jelentést.

Az OpenAI szerint a nyelvi modellek tokenekként dolgozzák fel a szöveget. A tokenek száma befolyásolja, hogy a szöveg belefér-e a modell feldolgozási keretébe, és mennyibe kerül az API-hívás.^[1]

Ez technikai részletnek hangzik. Pedig jóval több annál.

A tokenizálás az egyik olyan láthatatlan mechanizmus, amely megmagyarázza, miért felejti el az MI néha a beszélgetés elejét, miért nem fér bele egy hosszú szerződés az elemzésbe, miért foglalhat el meglepően sok helyet egy finn szöveg, és miért drágább az MI használata annál, mint amit az első táblázatos kalkuláció mutat.

Ha egy vállalkozás ügyfélszolgálatra, jogi munkára, értékesítésre, programozásra, marketingre vagy belső információk elemzésére használ MI-t, a tokenek nem pusztán az informatikusokat érintő apróságok. Erőforrást jelentenek, akárcsak az idő, a pénz vagy a szerverkapacitás.

2. Mit jelent a tokenizálás?

A tokenizálás során a szöveget olyan kisebb egységekre bontjuk, amelyeket a nyelvi modell fel tud dolgozni. Egyszerűen fogalmazva:

• az ember szavakat lát a szövegben
• a számítógép karaktereket lát
• a nyelvi modell tokenekként dolgozza fel a szöveget

A token nem azonos a szóval.

Például az angol running szó egyes tokenizálókban egyetlen token lehet, míg egy ritkább vagy hosszabb szó több részre bomolhat. Az OpenAI tiktoken-példájában a szöveg ilyen darabokra osztható: "t", "ik", "token", " is", " great" és "!".^[1]

Jó hasonlat a kirakós. Az ember számára a szó kész kép. Az MI számára a szöveg apró darabokkal teli doboz, amelyből valószínűségek alapján állítja elő a következő darabot. Nem úgy „érti” tehát a szöveget, mint az ember: karaktersorozatok szerkezetét és egymáshoz való viszonyát dolgozza fel.

Ez nem teszi haszontalanná az MI-t. Éppen ellenkezőleg: ennek köszönhetően képes a modell sokféle nyelvet, szakkifejezést, kódot és új szót kezelni anélkül, hogy minden lehetséges szót külön meg kellene tanítani neki. Ugyanakkor ez korlátokat is jelent.

3. Miért fontosak most a tokenek?

A tokenek három okból fontosak: a kapacitás, a költség és a minőség miatt.

Az első a kapacitás. Minden nyelvi modellnek van kontextusablaka: ez szabja meg, hány tokent tud figyelembe venni egy beszélgetés vagy feladat során. A Claude dokumentációja a kontextusablakot olyan térként írja le, amelyben a beszélgetés korábbi üzenetei, a felhasználó utasításai és a modell válaszai gyűlnek össze.^[2]

A második a költség. Sok MI-szolgáltatás árazása a tokenek számára épül: külön számolják a bemeneti és a válaszban létrehozott tokeneket. Az OpenAI ároldala modellenként, egymillió tokenre adja meg a díjakat. Útmutatója azt is kiemeli, hogy a tokenszámok megjelennek a használati metaadatokban, és a számlázáshoz kapcsolódnak.^[3]

A harmadik a minőség. Minél több szöveget adunk a modellnek, annál több munkát jelent számára a lényeges és a lényegtelen elkülönítése. A hosszú kontextus nem eredményez automatikusan jobb választ. Csupán azt jelenti, hogy a modellnek több anyagot kell feldolgoznia.

Vezetői szempontból ez különösen érdekes. A vállalatoknál gyakran varázsdobozként beszélnek az MI-ről: „Tegyük bele az összes dokumentumot, aztán kérdezzünk.” Hasznosabb azt kérdezni: milyen információt érdemes a modellnek látnia éppen ehhez a feladathoz?

4. Tokenek, kontextusablak és memória

A kontextusablak az MI íróasztala. Egy kis asztalon csak egy cetli, egy kávéscsésze és egy szerződés fér el. Egy hatalmas asztalon jegyzőkönyveket, ügyféladatokat, kódot, jelentéseket és stratégiai dokumentumokat is szétteríthetünk. De az ember figyelme még egy nagy asztalon is elveszhet a papírok között. Ugyanez igaz az MI-re.

A mai modellek sokat fejlődtek a hosszú kontextus kezelésében. Google közlése szerint a Gemini-modellek tokenekként dolgozzák fel a szöveget. Durva ökölszabályként egy token körülbelül négy karakternek, 100 token pedig nagyjából 60–80 angol szónak felel meg.^[4] A Google a Gemini Pro hosszú kontextusát azzal is népszerűsítette, hogy akár egymillió tokent képes kezelni. Ez például nagy dokumentumgyűjteményeket vagy kódbázisokat jelenthet.^[5]

Az Anthropic a tokenszámlálást a költségek és korlátok kezelésének, valamint a modellválasztásnak az eszközeként írja le: segít eldönteni, melyik modellhez érdemes továbbítani egy feladatot.^[6]

A lényeges felismerés: a kontextus nem azonos a tartós memóriával.

A kontextus az, amit a modell éppen most lát. A memória olyan rendszer, amely beszélgetések között is megőrizhet információkat. Sok felhasználó összekeveri a kettőt, és ebből csalódás születik: „Miért nem emlékezett erre az MI?” Gyakran azért, mert az információ már nem szerepelt a kontextusban, vagy a szolgáltatás nem őrzi meg a memóriában.

5. A finn nyelv mint a tokenizálás próbája

A finn nyelv érdekes kihívás a tokenizálás számára. Az angolban sok szó rövid és különálló. A finnben hosszú ragozott alakok és összetett szavak sűrítik magukba a jelentést.

Vegyük ezt a finn szót:

kasvuyritysrahoituskierroksellaan

Az ember felismeri az összetevőket: növekedés, vállalat, finanszírozás, forduló, valamint a birtokos személyjel vagy az esetrag. A tokenizáló viszont sok részre bonthatja a szót. Emiatt a finn szöveg gyorsabban töltheti meg a kontextusablakot, mint ahogyan a felhasználó várná.

Hasznos gyakorlati támpont, hogy a finnben egy szó gyakran 2–3 token, néha még több. Ez nem természeti törvény: a modelltől és a tokenizálótól függ. Ezért a pontos mennyiséget mindig az adott modell saját eszközével érdemes megmérni. Az OpenAI tokenizáló eszközévelmegnézhető, hogyan bomlik részekre a szöveg, és hány token keletkezik belőle.^[7]

Miért fontos ez? Mert egy finn nyelven működő szervezetnél a hosszú dokumentumok, hatósági szövegek, szerződések, kutatások és stratégiai anyagok tokenszáma gyorsan megnőhet. Ugyanaz a 20 oldalas anyag nem minden nyelven egyformán „könnyű” a modell számára.

Ez nem azt jelenti, hogy kerülni kell a finnt. Azt jelenti, hogy tudatosan kell kezelni a sajátosságait.

6. Hogyan hat a tokenizálás a költségekre?

Az MI költsége nem csupán attól függ, hányan használják a szolgáltatást, hanem attól is, hány tokent dolgoz fel.

Egyszerű képlet:

összköltség = bemeneti tokenek + kimeneti tokenek + esetleges belső következtetési tokenek + ismételt hívások száma

Az OpenAI szerint a fejlett modellekben belső következtetési tokenek, úgynevezett reasoning tokens is lehetnek. Ezeket a modell a végső válasz létrehozása előtt használja. Megjelenhetnek a használati metaadatokban, és a számlázáshoz kapcsolódhatnak.^[8]

Ez egy vállalkozás számára komoly jelentőségű.

Képzeljünk el egy ügyfélszolgálati botot, amely minden válaszhoz megkapja:

• a vállalat szolgáltatásainak hosszú leírását
• a teljes ügyfélelőzményt
• a belső utasításokat
• a visszaküldési feltételeket
• az előző beszélgetést
• a felhasználó új kérdését

Ha ez naponta több ezer alkalommal ismétlődik, már egy kevés fölösleges szövegnek is euróban mérhető ára van.

Ezen a ponton a tokenizálás technikai részletből üzleti kérdéssé válik. Egy jól megtervezett MI-rendszer nem küld el minden lehetséges információt a modellnek. Csak azt továbbítja, ami a feladathoz lényeges.

7. Mit jelent ez a vállalkozóknak és a vezetőknek?

A vállalkozó számára a tokenizálás mindenekelőtt szemléletváltást jelent.

Az MI alkalmazását nem érdemes pusztán arra a kérdésre építeni, hogy „Mi mindent automatizálhatnánk?”. Hasznosabb kérdés: „Milyen információra van szüksége a modellnek a sikerhez, és mire nincs?”

Ez a jó vezetéshez hasonlít. A jó vezető nem árasztja el a csapatát minden lehetséges háttéranyaggal. Célt, kontextust, döntési kereteket és megfelelő forrásokat ad. Ugyanez érvényes az MI-re is.

A vállalatnál legalább négy területen érződik a tokenek hatása:

1. A költségeknél. A hosszú promptok és a terjedelmes dokumentumok többe kerülnek.
2. A sebességnél. A hosszú kontextus lassíthatja a választ.
3. A minőségnél. A túl sok háttérinformáció elterelheti a modell figyelmét a feladatról.
4. Az információbiztonságnál. Minél több adatot küldünk el, annál alaposabban kell mérlegelnünk, mit szabad továbbítani.

Az MI bevezetésekor tehát nem elég kiválasztani a „legjobb modellt”. Az információ áramlását is meg kell tervezni.

8. A startupok és a növekedő vállalkozások szemszögéből

A startupok számára különösen fontos a tokenizálás, mert egy kis vállalkozásban minden költség és termékdöntés hatása hamar érződik.

Ha SaaS-szolgáltatást, vagyis előfizetéses, felhőalapú szoftvert építesz, a tokenek befolyásolhatják az egységszintű gazdaságosságot. Ez azt mutatja meg, mennyibe kerül egy ügyfél kiszolgálása, és mekkora fedezet marad utána.

Erről könnyű megfeledkezni az MVP szakaszában. Az MVP a termék első működő változata, amellyel azt teszteljük, hogy az ügyfelek valóban használni akarják-e a megoldást.

Kezdetben ésszerűnek tűnhet mindent elküldeni a modellnek:

• a teljes felhasználói profilt
• az összes dokumentumot
• egy hosszú rendszerutasítást
• a teljes beszélgetési előzményt
• az adatbázisból kinyert összes adatot

A bemutatón ez működik. De 10 000 felhasználónál már érezhető lesz a tokenszámla.

Egy növekedő vállalkozásnak érdemes korán feltennie ezeket a kérdéseket:

• Tudjuk tömöríteni a kontextust?
• Le tudjuk kérni csak a dokumentumok lényeges részleteit?
• Használhatunk olcsóbb modellt az egyszerű feladatokhoz?
• Gyorsítótárba tehetjük az ismétlődő bemeneteket?
• Korlátozhatjuk a válaszok hosszát?

A tokenek a termék láthatatlan infrastruktúrájához tartoznak. A felületen nem látszanak, mégis eldönthetik, hogy nyereséges-e a szolgáltatás.

9. Gyakorlati példák: gyenge, jobb és kiváló prompt

Gyenge példa

Itt van 80 oldalnyi anyag. Készíts belőle jó összefoglalót.

Ez működhet, ha a modell fel tudja dolgozni az anyagot. De drága és pontatlan megközelítés, amelynél könnyen elsikkadhatnak a lényeges részletek.

Jobb példa

Olvasd el ezt a 80 oldalas anyagot. Az összefoglalóban az ügyfelekkel kapcsolatos kockázatokra, a költséghatásokra és a vezetőség döntését igénylő fontos kérdésekre összpontosíts. Ne ismertesd az egészet.

Az MI így egyértelmű irányt kap. Tudja, mit keressen.

Kiváló példa

Légy egy növekedő vállalkozás működési tanácsadója. Az alábbi anyagot kizárólag a következő kérdések mentén elemezd:

1) Mely részletek befolyásolják a következő 6 hónap pénzforgalmát?
2) Mely kockázatok igényelnek vezetőségi döntést?
3) Mely információk szolgálnak csupán háttérként?

Végül készíts egyoldalas döntés-előkészítő feljegyzést.

Ez jobb megoldás, mert tokeneket takarít meg, és irányítja a modell gondolkodását. Nem mindent kér, hanem a lényeget.

10. Kockázatok és tévhitek

A tokenizálást számos tévhit övezi.

Az első az, hogy a nagyobb kontextus mindent megold. Ez nem így van. A hosszú kontextus segít, de az információt továbbra is válogatni, szűkíteni és rendszerezni kell.

A második az a feltételezés, hogy a tokenek szavaknak felelnek meg. Nem felelnek meg. Ez különösen fontos a finn nyelvnél, ahol a hosszú szavak és ragozott alakok több tokenre bomolhatnak.

A harmadik az a hit, hogy a modell a beszélgetés minden részletére emlékszik. Valójában a beszélgetés tartalma a kontextusban gyűlik. Amikor eléri a határt, a rendszernek tömörítenie, törölnie vagy más módon kezelnie kell a régebbi információkat. Az Anthropic leírása szerint a kontextus a beszélgetéssel együtt nő, ahogy a korábbi üzenetek és válaszok a kontextusablakban maradnak.^[2]

A negyedik kockázat az információbiztonsághoz kapcsolódik. Ha egy szervezet minden lehetséges háttéradat hozzáadásával próbálja „javítani” az MI válaszát, közben szükségtelenül növelheti a személyes adatok, üzleti titkok vagy szerződéses információk kezelését is.

A felelős MI-használat nem merül ki abban, hogy a modell jó választ ad. Az is hozzátartozik, hogy csak a valóban szükséges információkat kapja meg.

11. Etikai szempontok és felelős használat

A tokenizálás semleges technológiának tűnik. A hatásai azonban nem semlegesek.

Ha egy nyelv szövege átlagosan több tokenre bomlik, mint egy másiké, drágább vagy kevésbé hatékony lehet a feldolgozása. Ez befolyásolhatja, mely nyelveken fejlesztik, tesztelik és optimalizálják az MI-szolgáltatásokat.

A finnhez hasonló kisebb nyelveknél ez fontos kérdés. Ha egy vállalat kizárólag angol adatok és költségszámítások alapján épít MI-szolgáltatást, a finn nyelvű használat meglepetést okozhat. Ennek oka nem a finn nyelv, hanem a rendszer gondatlan tervezése.

Egy felelősen működő szervezet teszteli:

• hogyan működik a modell finnül
• hogyan tér el a tokenszám az egyes nyelvek között
• hogyan változnak a költségek
• hogyan őrizhető meg a minőség
• hogyan tájékoztatják a felhasználót a korlátokról

Az MI-hez való egyenlő hozzáférést nem ünnepi beszédek teremtik meg. Az ilyen hétköznapi technikai döntéseken is múlik.

12. A tokenizálás az MI tágabb átalakulásának részeként

A tokenizálás az MI térnyerésének egyik lényeges vonását mutatja meg.

Hajlamosak vagyunk emberi tulajdonságokkal felruházni az MI-t. Azt mondjuk, olvas, ért, gondolkodik és emlékszik. Ezek a szavak hasznosak a hétköznapi nyelvben, de el is fedhetik a valóságot.

Az MI nem ember, aki az asztalnál ülve jelentést olvas. Olyan rendszer, amely tokeneket dolgoz fel, valószínűségeket számít, és a korábbi kontextus alapján új tokeneket állít elő. Az eredmény mégis intelligensnek tűnhet.

Ez az MI egyik izgalmas ellentmondása: a mechanizmus matematikai, az élmény viszont társas. A felhasználó úgy érzi, beszélget. A modell tokeneket dolgoz fel.

A vállalatoknak ezért két szinten kell irányítaniuk az MI használatát:

• az emberi élmény szintjén
• a technikai rendszer szintjén

A jó MI-stratégia mindkettőt érti.

13. Jövőkép: merre fejlődik a tokenizálás?

A tokenizálás nem tűnik el a következő években, de változhat a jelentősége.

1. Nőnek a kontextusablakok

Az egymillió tokenes kontextus már nem futurisztikus elképzelés, hanem része a mai nagy modellek versenyének. A Google és az Anthropic is kiemelte a hosszú kontextus lehetőségeit.^[5] A nagyobb ablak azonban nem váltja ki a jó információkezelést.

2. Automatizálódik a tokenszámlálás

Egyre több rendszer számolja a háttérben a tokeneket, és továbbítja a feladatot a megfelelő modellhez. Az Anthropic a tokenszámlálás előnyei között említi a költségkezelést, a korlátok előrejelzését és a modellválasztást.^[6]

3. Javul a kontextus tömörítése

A rendszerek hosszú beszélgetések során egyre jobban képesek tömöríteni a korábbi információkat. Ez nem jelent tökéletes memóriát, de gördülékenyebbé teheti a használatot.

4. Javul a többnyelvűség

A tokenizálók és a modellek várhatóan a finnhez hasonló nyelveken is jobban teljesítenek majd. A kisebb nyelveket azonban továbbra is tudatosan kell tesztelni.

5. A felhajtás helyét átveszi a gyakorlati hozzáértés

Kezdetben sokan azt kérdezték: „Mi mindenre képes az MI?” A következő szakasz gyakorlatiasabb: „Hogyan csináljuk ezt jól, biztonságosan és nyereségesen?” Ebben a párbeszédben a tokenek központi szerepet kapnak.

14. Következtetések

A tokenizálás az MI mindennapi működésének egyik alapmechanizmusa.

Megmagyarázza, miért nem úgy dolgozza fel az MI a szöveget, mint az ember. Azt is, miért drágák a hosszú dokumentumok, és miért töltheti meg meglepően gyorsan a finn szöveg a kontextusablakot. Megmutatja, hogy a jó prompt nem pusztán szépen megfogalmazott kérdés, hanem az erőforrásokkal takarékosan bánó utasítás.

A legfontosabb tanulság:

Az MI hatékony használata nem azt jelenti, hogy a lehető legtöbb információt adjuk a modellnek. A megfelelő információt kell megadni, megfelelő formában.

A vállalkozónak ez versenyelőny. A vezetőnek költség- és minőségi kérdés. A szakembernek új munkahelyi alapkészség. A diáknak pedig segít megérteni, miért sikerülnek néha az MI válaszai, máskor pedig miért vallanak kudarcot.

A tokenizálás láthatatlan, a hatásai mégis mindenütt érződnek.

15. Gyakorlati módszerek, ellenőrzőlisták és sablonok

Általános módszer a tokentakarékos MI-használathoz

1. Határozd meg pontosan a feladatot.
2. Csak a feladathoz lényeges anyagot válaszd ki.
3. Töröld a fölösleges ismétléseket.
4. Adj szerepet és célt a modellnek.
5. Határozd meg a válasz formátumát.
6. Mérd meg a tokenszámot.
7. Használat közben kövesd a költségeket.
8. Az adatok alapján javíts a prompton.

Ellenőrzőlista hosszú anyag elküldése előtt

Tedd fel a kérdéseket:

• Szüksége van a modellnek az egész dokumentumra?
• Elég lenne egy összefoglaló?
• Részekre tudom bontani az anyagot?
• Vannak benne személyes adatok vagy üzleti titkok?
• Elemzés, összefoglalás, döntés-előkészítő feljegyzés vagy ötletelés a feladat?
• Valójában milyen hosszú válaszra van szükség?
• Meglepően sok tokent igényel a finn nyelvű anyag?

Kérdések a vezetőség számára

• Mely folyamatokban dolgozza fel az MI a legtöbb szöveget?
• Mely felhasználási esetek járnak a legnagyobb tokenköltséggel?
• Van útmutatónk arra, milyen adatokat adhatunk a modellnek?
• Mérjük az MI költségét felhasználónként, ügyfelenként vagy feladatonként?
• Külön teszteltük a finn nyelvű használatot?
• Elvégezhetők lennének egyes feladatok olcsóbb vagy kisebb modellel?

Sablon kezdőknek

Használd ezt a promptvázlatot:

Szereped: [szerep].
Feladatod: [cél].
Kizárólag az alábbi anyagot használd.
Különösen ezekre összpontosíts: [1–3 pont].
Ne ismertesd az egészet.
A válasz formátuma: [lista / feljegyzés / táblázat / összefoglaló].
Terjedelme legfeljebb [x] szó legyen.

Sablon haladó felhasználóknak

Elemezd az anyagot három lépésben:

1) Csak a feladathoz lényeges részeket emeld ki.
2) Különítsd el a tényeket, az értelmezéseket és a bizonytalanságokat.
3) Végül tegyél döntési javaslatot.

Ha az anyag nem elegendő következtetés levonásához, mondd ki egyenesen. Ne töltsd ki találgatásokkal a hiányokat.

Munkasablon csapatoknak

• Feladat: Mit szeretnénk elvégeztetni az MI-vel?
• Anyag: Milyen információra van szüksége?
• Lehatárolás: Milyen információra nincs szüksége?
• Kockázatok: Tartalmaz az anyag érzékeny adatokat?
• Tokenek: Megmértük az anyag tokenszámát a megfelelő eszközzel?
• Minőség: Honnan tudjuk, hogy jó a válasz?
• Költség: Becslésünk szerint mennyibe kerül egy használat?
• Fejlesztés: Hogyan csökkenthető a prompt vagy az információlekérés terjedelme?

A tokenizálás nem unalmas technikai lábjegyzet az MI mellett. Kapcsolódási pont az emberi gondolkodás és a gépi számítás között.

Ha megértjük, az MI kevésbé lesz rejtélyes — és sokkal használhatóbbá válik.

Források

1. Tokenszámlálás a Tiktoken segítségével — OpenAI Cookbook
2. Kontextusablakok — Claude API Docs
3. Árazás — OpenAI API
4. A tokenek megértése és számlálása — Gemini API, Google AI for Developers
5. Gemini in Pro és hosszú kontextus — Google
6. Tokenszámlálás — Claude API Docs
7. Tokenizáló — OpenAI API
8. Mik a tokenek, és hogyan számoljuk őket? — OpenAI Help Center