Tokenizacija: nevidljivi jezik umjetne inteligencije koji određuje granice razumijevanja i troškove

1. Uvod: zašto umjetna inteligencija zapravo ne „čita” poput čovjeka

Kada čovjek pročita rečenicu „Finski poduzetnik gradi međunarodno poduzeće s velikim potencijalom rasta”, prepoznaje riječi i značenja, a možda zamišlja i cijelu situaciju: osnivača, tim, krug financiranja, neizvjesnost i ambiciju.

Umjetna inteligencija vidi nešto posve drugo. Ne polazi od riječi, nego tekst razlaže na manje dijelove, tokene. Token može biti cijela riječ, dio riječi, interpunkcijski znak ili niz znakova koji čovjeku sam po sebi ne znači mnogo.

OpenAI objašnjava da jezični modeli obrađuju tekst u obliku tokena. Njihov broj određuje i hoće li tekst stati u kontekst modela i koliko će stajati poziv API-ja.^[1]

Zvuči kao tehnička pojedinost. No njezin je značaj mnogo veći.

Tokenizacija je jedan od nevidljivih mehanizama koji objašnjavaju zašto umjetna inteligencija ponekad zaboravi početak razgovora, zašto dugačak ugovor ne stane u analizu, zašto tekst na finskom može neočekivano brzo zauzeti raspoloživi prostor i zašto primjena umjetne inteligencije stoji više nego što je prvotno pokazivala proračunska tablica.

Ako poduzeće koristi umjetnu inteligenciju u korisničkoj podršci, pravnim poslovima, prodaji, programiranju, marketingu ili analizi internih podataka, tokeni nisu tema samo za tehničke entuzijaste. Oni su resurs, poput vremena, novca ili kapaciteta poslužitelja.

2. Što je tokenizacija?

Tokenizacija je razlaganje teksta na manje jedinice koje jezični model može obraditi. Pojednostavljeno:

• čovjek u tekstu vidi riječi
• računalo vidi znakove
• jezični model obrađuje tekst kao tokene

Token nije isto što i riječ.

Primjerice, engleska riječ running u nekim tokenizatorima može činiti jedan token, dok se rjeđa ili dulja riječ može razložiti na više dijelova. OpenAI-jev primjer za tiktoken pokazuje kako se tekst može podijeliti na dijelove poput "t", "ik", "token", " is", " great" i "!".^[1]

Dobra su usporedba slagalice. Čovjeku je riječ dovršena slika. Umjetnoj inteligenciji tekst je kutija sitnih dijelova iz koje na temelju vjerojatnosti bira sljedeći dio. Ona zato ne „razumije” tekst kao čovjek, nego obrađuje strukture nizova znakova i odnose među njima.

To ne znači da je umjetna inteligencija beskorisna. Upravo suprotno: taj mehanizam omogućuje modelu da obrađuje brojne jezike, stručne pojmove, kod i nove riječi, a da ga ne treba zasebno učiti svakoj mogućoj riječi. No donosi i ograničenja.

3. Zašto su tokeni upravo sada važni?

Tokeni su važni iz triju razloga: kapaciteta, troška i kvalitete.

Prvi je kapacitet. Svaki jezični model ima kontekstni prozor: određen broj tokena koje može uzeti u obzir u jednom razgovoru ili zadatku. Dokumentacija za Claude opisuje kontekstni prozor kao prostor u kojem se nakupljaju prethodne poruke iz razgovora, korisničke upute i odgovori modela.^[2]

Drugi je trošak. Mnoge usluge umjetne inteligencije naplaćuju se prema broju tokena, pri čemu zasebno obračunavaju ulazne i izlazne tokene. OpenAI-jev cjenik navodi cijene za milijun tokena po modelu, a upute ističu da su brojevi tokena vidljivi u metapodacima o potrošnji i povezani s naplatom.^[3]

Treći je kvaliteta. Što više teksta dajete modelu, to više mora razlučivati bitno od nebitnog. Dug kontekst ne jamči bolji odgovor. Znači samo da model ima više materijala za obradu.

To je zanimljivo i iz upravljačke perspektive. U poduzećima se o umjetnoj inteligenciji često govori kao o čarobnoj kutiji: „Ubacimo sve dokumente pa postavimo pitanje.” U praksi je korisnije pitati: koje podatke model treba vidjeti upravo za ovaj zadatak?

4. Tokeni, kontekstni prozor i memorija

Kontekstni prozor radni je stol umjetne inteligencije. Na malen stol stanu tek ceduljica, šalica kave i jedan ugovor. Na golem stol možete raširiti zapisnike, podatke o kupcima, kod, izvješća i strateške dokumente. No čak se i na velikom stolu čovjek može izgubiti među papirima. Isto vrijedi za umjetnu inteligenciju.

Današnji modeli brzo napreduju u obradi dugog konteksta. Google navodi da modeli Gemini obrađuju tekst kao tokene te daje okvirno pravilo: jedan token odgovara približno četirima znakovima, a 100 tokena otprilike 60–80 engleskih riječi.^[4] Google je također isticao sposobnost modela Gemini Pro da u dugom kontekstu obradi do milijun tokena, što može obuhvaćati, primjerice, velike skupove dokumenata ili koda.^[5]

Anthropic opisuje brojanje tokena kao način upravljanja troškovima, ograničenjima i usmjeravanjem zahtjeva, odnosno odabirom modela kojem je najbolje poslati zadatak.^[6]

Važno je uočiti sljedeće: kontekst nije isto što i trajna memorija.

Kontekst je ono što model vidi upravo sada. Memorija je sustav koji može čuvati podatke između razgovora. Mnogi korisnici brkaju ta dva pojma pa se razočaraju: „Zašto umjetna inteligencija to nije zapamtila?” Odgovor je često jednostavan: podatak više nije bio u kontekstu ili ga usluga ne pohranjuje u memoriju.

5. Finski jezik kao test za tokenizaciju

Finski je zanimljiv izazov za tokenizaciju. U engleskom su mnoge riječi kratke i odvojene. Finski pak značenje sažima u duge oblike riječi i složenice.

Pogledajmo finsku riječ:

kasvuyritysrahoituskierroksellaan

Čovjek u njoj prepoznaje sastavnice koje označavaju rast, poduzeće, financiranje, krug te posvojni ili padežni oblik. Tokenizator je, međutim, može podijeliti na više dijelova. Zato tekst na finskom može brže popuniti kontekstni prozor nego što korisnik očekuje.

Korisno je imati na umu da jedna finska riječ često može zauzeti 2–3 tokena, a ponekad i više. To nije nepromjenjivo pravilo: ovisi o modelu i tokenizatoru. Točan broj zato uvijek valja provjeriti alatom za brojanje tokena namijenjenim odabranom modelu. OpenAI nudi alat Tokenizer, u kojem možete vidjeti kako se tekst razlaže i koliko tokena nastaje.^[7]

Zašto je to važno? U organizaciji koja radi na finskom dugi dokumenti, službeni tekstovi, ugovori, istraživanja i strateški materijali mogu brzo dosegnuti velik broj tokena. Isti materijal od 20 stranica nije jednako „lagan” za model na svim jezicima.

To nije razlog za izbjegavanje finskog. To je razlog da pri njegovoj uporabi vodite računa o tokenima.

6. Kako tokenizacija utječe na troškove?

Trošak umjetne inteligencije ne ovisi samo o broju korisnika usluge. Ovisi i o broju tokena koje usluga obrađuje.

Jednostavna formula:

ukupni trošak = ulazni tokeni + izlazni tokeni + mogući interni tokeni za zaključivanje + broj ponovljenih poziva

OpenAI navodi da napredni modeli mogu koristiti i interne reasoning tokens , odnosno tokene za zaključivanje prije stvaranja konačnog odgovora. Mogu biti vidljivi u metapodacima o potrošnji i utjecati na naplatu.^[8]

Za poduzeće to ima velik značaj.

Zamislimo bot za korisničku podršku koji uz svaki odgovor dobiva:

• dugačak opis usluga poduzeća
• cjelokupnu povijest odnosa s kupcem
• interne upute
• uvjete povrata
• prethodni razgovor
• novo korisničko pitanje

Ponavlja li se to tisućama puta dnevno, i mala količina suvišnog teksta pretvara se u dodatni trošak.

Tu tokenizacija iz tehničke pojedinosti prerasta u poslovno pitanje. Dobro osmišljen sustav umjetne inteligencije modelu ne šalje sve što može, nego samo ono što je bitno za zadatak.

7. Što to znači za poduzetnike i rukovoditelje?

Za poduzetnika tokenizacija prije svega znači promjenu načina razmišljanja.

Primjenom umjetne inteligencije ne treba upravljati samo pitanjem: „Što bismo sve mogli automatizirati?” Korisnije je pitati: „Koji su podaci modelu potrebni da bi uspješno obavio zadatak, a koji mu nisu potrebni?”

To podsjeća na dobro vođenje. Dobar rukovoditelj ne zatrpava tim svim dostupnim popratnim materijalima. Daje mu cilj, kontekst, granice odlučivanja i odgovarajuće izvore. Isto vrijedi za umjetnu inteligenciju.

U poduzeću tokeni utječu na najmanje četiri područja:

1. Troškove. Dugi promptovi i opsežni dokumenti skuplji su za obradu.
2. Brzinu. Dug kontekst može usporiti odgovor.
3. Kvalitetu. Previše pozadinskih informacija može modelu otežati usredotočenost na zadatak.
4. Informacijsku sigurnost. Što više podataka šaljete, to pomnije morate razmotriti što uopće smijete poslati.

Pri uvođenju umjetne inteligencije zato nije dovoljno odabrati „najbolji model”. Treba osmisliti i protok podataka.

8. Perspektiva startupova i brzorastućih poduzeća

Tokenizacija je startupovima posebno važna jer se u malom poduzeću svaki trošak i svaka odluka o proizvodu brzo osjete.

Razvijate li SaaS uslugu, odnosno softverski proizvod u oblaku koji kupci koriste uz pretplatu, tokeni mogu biti dio ekonomike po korisniku. Ona pokazuje koliko stoji pružanje usluge jednom kupcu i kolika marža nakon toga ostaje.

To je lako previdjeti u fazi MVP-a. MVP je prva funkcionalna verzija proizvoda kojom provjeravate žele li kupci doista koristiti rješenje.

U početku se može činiti razumnim modelu poslati sve:

• cijeli korisnički profil
• sve dokumente
• dugačku sistemsku uputu
• cijelu povijest razgovora
• cjelovit izvadak iz baze podataka

Na demonstraciji to funkcionira. No kada imate 10 000 korisnika, račun za tokene postaje ozbiljna stavka.

Brzorastuće poduzeće treba na vrijeme pitati:

• Možemo li sažeti kontekst?
• Možemo li dohvatiti samo relevantne odlomke dokumenata?
• Možemo li za jednostavne zadatke koristiti jeftiniji model?
• Možemo li ponovljene ulazne podatke spremati u predmemoriju?
• Možemo li ograničiti duljinu odgovora?

Tokeni su nevidljiva infrastruktura proizvoda. Nisu vidljivi u sučelju, ali mogu odlučiti o isplativosti usluge.

9. Praktični primjeri: loš, bolji i izvrstan prompt

Loš primjer

Evo 80 stranica materijala. Napravi dobar sažetak.

To može funkcionirati ako model može obraditi materijal. No takav je pristup skup, neprecizan i povećava rizik da se važne informacije izgube.

Bolji primjer

Pročitaj ovaj materijal od 80 stranica. Sažmi ga s posebnim naglaskom na rizike povezane s kupcima, učinke na troškove i odluke važne za upravu. Nemoj prepričavati sve.

Sada umjetna inteligencija ima jasno usmjerenje. Zna što treba tražiti.

Izvrstan primjer

Djeluj kao operativni savjetnik brzorastućeg poduzeća. Analiziraj materijal u nastavku isključivo kroz ova pitanja:

1) Koji dijelovi utječu na novčani tok u sljedećih 6 mjeseci?
2) Koji rizici zahtijevaju odluku uprave?
3) Što služi samo kao pozadinska informacija?

Na kraju izradi bilješku od jedne stranice kao podlogu za odluku.

Ovaj je pristup bolji jer štedi tokene i usmjerava obradu modela. Ne traži sve, nego ono bitno.

10. Rizici i zablude

Uz tokenizaciju se veže više zabluda.

Prva je da veći kontekst rješava sve. Ne rješava. Dug kontekst pomaže, ali ne uklanja potrebu za odabirom, ograničavanjem i strukturiranjem podataka.

Druga je pretpostavka da tokeni odgovaraju riječima. Ne odgovaraju. To je osobito važno u finskom, u kojem se duge riječi i njihovi različiti oblici mogu razložiti na više tokena.

Treća je uvjerenje da model pamti sve iz razgovora. U stvarnosti se sadržaj razgovora nakuplja u kontekstu. Kada dosegne granicu, sustav mora sažeti, ukloniti ili na drugi način upravljati starijim podacima. Anthropic opisuje kako kontekst raste tijekom razgovora jer prethodne poruke i odgovori ostaju u kontekstnom prozoru.^[2]

Četvrti je rizik povezan s informacijskom sigurnošću. Kada organizacija pokušava „poboljšati” odgovor umjetne inteligencije dodavanjem svih dostupnih pozadinskih podataka, može nepotrebno povećati obradu osobnih podataka, poslovnih tajni ili ugovornih informacija.

Odgovorna primjena umjetne inteligencije ne svodi se na dobar odgovor modela. Podrazumijeva i da model dobije samo podatke koji su mu doista potrebni.

11. Etika i odgovorna primjena

Tokenizacija zvuči kao neutralna tehnologija. No njezini učinci nisu neutralni.

Ako se neki jezik u prosjeku dijeli na više tokena nego drugi, njegova obrada može biti skuplja ili manje učinkovita. To može utjecati na odabir jezika na kojima se usluge umjetne inteligencije razvijaju, testiraju i optimiziraju.

Za manje jezične zajednice, poput finske, to je važno pitanje. Ako poduzeće razvija uslugu umjetne inteligencije isključivo na temelju podataka na engleskom i troškova njihove obrade, uporaba na finskom može ga iznenaditi. Razlog nije problem u finskom jeziku, nego nedovoljno promišljen sustav.

Odgovorna organizacija provjerava:

• kako model radi na finskom
• kako se broj tokena razlikuje među jezicima
• kako se mijenjaju troškovi
• kako se održava kvaliteta
• kako se korisniku objašnjavaju ograničenja

Ravnopravnost u primjeni umjetne inteligencije ne ostvaruje se svečanim govorima. Grade je i ovakve svakodnevne tehničke odluke.

12. Tokenizacija kao dio šire preobrazbe koju donosi umjetna inteligencija

Tokenizacija otkriva nešto bitno o preobrazbi koju donosi umjetna inteligencija.

Skloni smo umjetnoj inteligenciji pripisivati ljudske osobine. Kažemo da čita, razumije, razmišlja i pamti. Ti su izrazi korisni u svakodnevnom govoru, ali mogu zamagliti ono što se stvarno događa.

Umjetna inteligencija nije čovjek koji sjedi za stolom i čita izvješće. To je sustav koji obrađuje tokene, računa vjerojatnosti i stvara sljedeće tokene na temelju prethodnog konteksta. Ipak, rezultat može djelovati inteligentno.

U tome je zanimljiv paradoks umjetne inteligencije: mehanizam je matematički, a doživljaj društven. Korisnik ima dojam da razgovara. Model obrađuje tokene.

Za poduzeća to znači da primjenom umjetne inteligencije treba upravljati na dvije razine:

• na razini ljudskog iskustva
• na razini tehničkog sustava

Dobra strategija umjetne inteligencije razumije obje.

13. Budućnost: kamo ide tokenizacija?

Tokenizacija neće nestati u sljedećih nekoliko godina, ali njezina se uloga može promijeniti.

1. Kontekstni prozori rastu

Kontekst od milijun tokena više nije futuristička zamisao, nego dio današnjeg nadmetanja velikih modela. I Google i Anthropic istaknuli su mogućnosti dugog konteksta.^[5] No veći prozor ne uklanja potrebu za dobrim upravljanjem podacima.

2. Brojanje tokena se automatizira

Sve više sustava broji tokene u pozadini i usmjerava zadatak prikladnom modelu. Anthropic među prednostima brojanja tokena navodi upravljanje troškovima, predviđanje ograničenja i usmjeravanje zahtjeva prema modelima.^[6]

3. Sažimanje konteksta se poboljšava

U dugim razgovorima sustavi sve bolje sažimaju prethodne informacije. To nije isto što i savršena memorija, ali može olakšati uporabu.

4. Višejezičnost napreduje

Tokenizatori i modeli vjerojatno će bolje obrađivati i jezike poput finskog. Ipak, manje jezike i dalje treba ciljano testirati.

5. Početno oduševljenje ustupa mjesto operativnom znanju

U početku su mnogi pitali: „Što umjetna inteligencija sve može?” Sljedeća je faza praktičnija: „Kako to provesti kvalitetno, sigurno i isplativo?” Tokeni su važan dio tog razgovora.

14. Zaključci

Tokenizacija je jedan od osnovnih mehanizama svakodnevnog rada umjetne inteligencije.

Objašnjava zašto umjetna inteligencija ne obrađuje tekst poput čovjeka, zašto dugi dokumenti povećavaju troškove i zašto tekst na finskom može neočekivano brzo popuniti kontekstni prozor. Objašnjava i zašto dobar prompt nije samo lijepo oblikovano pitanje, nego uputa koja promišljeno koristi resurse.

Najvažnija je pouka sljedeća:

Učinkovita primjena umjetne inteligencije ne znači dati modelu što više podataka. Znači dati mu odgovarajuće podatke u odgovarajućem obliku.

Za poduzetnika je to konkurentska prednost. Za rukovoditelja pitanje troška i kvalitete. Za stručnjaka nova temeljna radna vještina. Za studenta način da razumije zašto su odgovori umjetne inteligencije ponekad uspješni, a ponekad nepouzdani.

Tokenizacija je nevidljiva, ali njezini se učinci vide posvuda.

15. Praktični modeli, kontrolni popisi i radni predlošci

Opći postupak: primjena umjetne inteligencije uz promišljenu potrošnju tokena

1. Precizno definirajte zadatak.
2. Odaberite samo materijal bitan za zadatak.
3. Uklonite nepotrebna ponavljanja.
4. Zadajte modelu ulogu i cilj.
5. Odredite oblik odgovora.
6. Provjerite broj tokena.
7. Pratite troškove tijekom uporabe.
8. Poboljšavajte prompt na temelju podataka.

Kontrolni popis prije slanja opsežnog materijala modelu

Zapitajte se:

• Treba li modelu cijeli dokument?
• Bi li sažetak bio dovoljan?
• Mogu li podijeliti materijal na dijelove?
• Sadrži li osobne podatke ili poslovne tajne?
• Je li zadatak analiza, sažimanje, priprema podloge za odluku ili osmišljavanje ideja?
• Koliko dug odgovor doista trebam?
• Je li materijal na finskom neočekivano zahtjevan po broju tokena?

Pitanja za upravu

• U kojim procesima umjetna inteligencija obrađuje najviše teksta?
• Koji načini primjene stvaraju najveće troškove tokena?
• Imamo li smjernice o tome koje podatke smijemo dati modelu?
• Mjerimo li trošak umjetne inteligencije po korisniku, kupcu ili zadatku?
• Jesmo li zasebno testirali uporabu na finskom?
• Bi li dio zadataka mogao obaviti jeftiniji ili manji model?

Predložak za početnike

Koristite ovaj kostur prompta:

Preuzmi ulogu: [uloga].
Tvoj je zadatak [cilj].
Koristi samo materijal u nastavku.
Posebno se usredotoči na sljedeće: [1–3 stavke].
Nemoj prepričavati sve.
Odgovor oblikuj kao [popis / bilješku / tablicu / sažetak].
Najviše [x] riječi.

Predložak za napredne korisnike

Analiziraj materijal u tri koraka:

1) Izdvoji samo ono što je bitno za zadatak.
2) Razdvoji činjenice, tumačenja i neizvjesnosti.
3) Na kraju predloži odluku.

Ako materijal nije dovoljan za zaključak, reci to izravno. Nemoj popunjavati praznine nagađanjem.

Radni predložak za tim

• Zadatak: Što želimo da umjetna inteligencija napravi?
• Materijal: Koji su joj podaci potrebni?
• Opseg: Koji joj podaci nisu potrebni?
• Rizici: Sadrži li materijal osjetljive podatke?
• Tokeni: Je li broj tokena u materijalu provjeren odgovarajućim alatom?
• Kvaliteta: Kako ćemo znati da je odgovor dobar?
• Trošak: Koliko bi približno stajala jedna uporaba?
• Poboljšanje: Kako možemo smanjiti opseg prompta ili dohvaćenog materijala?

Tokenizacija nije dosadna tehnička fusnota umjetne inteligencije. Ona povezuje ljudsko razmišljanje i strojnu obradu.

Kada je razumijete, umjetna inteligencija postaje manje tajanstvena i mnogo korisnija.

Izvori

1. How to count tokens with Tiktoken — OpenAI Cookbook
2. Context windows — Claude API Docs
3. Pricing — OpenAI API
4. Understand and count tokens — Gemini API, Google AI for Developers
5. Gemini in Pro and long context — Google
6. Token counting — Claude API Docs
7. Tokenizer — OpenAI API
8. What are tokens and how to count them? — OpenAI Help Center