Tokenisaatio – Innohub

1. Johdanto: miksi tekoäly ei oikeasti ”lue” kuten ihminen

Kun ihminen lukee lauseen ”Suomalainen yrittäjä rakentaa kansainvälistä kasvuyhtiötä”, hän näkee sanat, merkitykset ja ehkä mielessään jopa tilanteen: perustajan, tiimin, rahoituskierroksen, epävarmuuden ja kunnianhimon.

Tekoäly näkee jotain aivan muuta. Se ei aloita sanoista. Se pilkkoo tekstin pienempiin palasiin, tokeneihin. Token voi olla kokonainen sana, sanan osa, välimerkki tai joskus merkkijono, joka ei ihmisen silmissä näytä kovin merkitykselliseltä.

OpenAI:n mukaan kielimallit käsittelevät tekstiä tokenien muodossa, ja tokenien määrä vaikuttaa sekä siihen, mahtuuko teksti mallin käsiteltäväksi että siihen, mitä API-kutsu maksaa.^[1]

Tämä kuulostaa tekniseltä yksityiskohdalta. Sitä se ei ole.

Tokenisaatio on yksi niistä näkymättömistä mekanismeista, jotka määrittävät, miksi tekoäly joskus unohtaa keskustelun alun, miksi pitkä sopimus ei mahdu analysoitavaksi, miksi suomenkielinen teksti voi kuluttaa tilaa yllättävän nopeasti ja miksi tekoälyn käyttö maksaa enemmän kuin taulukkolaskelmassa ensin näyttää.

Jos yritys käyttää tekoälyä asiakaspalvelussa, juridiikassa, myynnissä, koodauksessa, markkinoinnissa tai sisäisen tiedon analysoinnissa, tokenit eivät ole nörttien reunahuomio. Ne ovat resurssi. Vähän kuin aika, raha tai palvelinkapasiteetti.

2. Mitä tokenisaatio tarkoittaa?

Tokenisaatio tarkoittaa tekstin pilkkomista pienempiin yksiköihin, joita kielimalli pystyy käsittelemään. Yksinkertaistettuna:

ihminen näkee tekstissä sanoja
tietokone näkee merkkejä
kielimalli käsittelee tekstiä tokeneina

Token ei ole sama asia kuin sana.

Esimerkiksi englanninkielinen sana running voi joissain tokenisaattoreissa olla yksi token, mutta harvinaisempi tai pidempi sana voidaan pilkkoa useampaan osaan. OpenAI:n tiktoken-esimerkissä sana- ja merkkijono voidaan jakaa osiin kuten "t", "ik", "token", " is", " great" ja "!".^[1]

Hyvä vertaus on palapeli. Ihmiselle sana on valmis kuva. Tekoälylle teksti on laatikollinen pieniä paloja, joista se rakentaa todennäköisyyksien avulla seuraavan palan. Se ei siis ”ymmärrä” tekstiä samalla tavalla kuin ihminen, vaan käsittelee merkkijonojen rakenteita ja niiden välisiä suhteita.

Tämä ei tee tekoälystä hyödytöntä. Päinvastoin. Juuri tämä mekanismi mahdollistaa sen, että malli pystyy käsittelemään monia kieliä, erikoistermejä, koodia ja uusia sanoja ilman, että jokainen mahdollinen sana pitäisi opettaa sille erikseen. Mutta se tuo myös rajoja.

3. Miksi tokeneilla on väliä juuri nyt?

Tokenit ovat tärkeitä kolmesta syystä: kapasiteetti, kustannus ja laatu.

Ensimmäinen on kapasiteetti. Jokaisella kielimallilla on konteksti-ikkuna eli määrä tokeneita, jonka se pystyy ottamaan huomioon yhdessä keskustelussa tai tehtävässä. Claude-dokumentaatio kuvaa konteksti-ikkunaa tilana, johon kertyvät keskustelun aiemmat viestit, käyttäjän ohjeet ja mallin vastaukset.^[2]

Toinen on kustannus. Monissa tekoälypalveluissa hinnoittelu perustuu tokenien määrään: erikseen syötteen tokeneihin ja vastauksen tokeneihin. OpenAI:n hinnoittelusivu näyttää mallikohtaiset hinnat miljoonaa tokenia kohti, ja OpenAI:n ohjeistus korostaa, että tokenimäärät näkyvät käyttömetadatassa ja liittyvät laskutukseen.^[3]

Kolmas on laatu. Mitä enemmän tekstiä työnnetään mallille, sitä enemmän sen pitää erottaa olennainen epäolennaisesta. Pitkä konteksti ei automaattisesti tarkoita parempaa vastausta. Se tarkoittaa vain, että mallilla on enemmän materiaalia käsiteltävänä.

Tämä on johtamisen kannalta kiinnostava kohta. Yrityksissä tekoälystä puhutaan usein kuin taikalaatikosta: ”Laitetaan sinne kaikki dokumentit ja kysytään.” Todellisuudessa parempi kysymys on: mitä tietoa mallin kannattaa nähdä juuri tässä tehtävässä?

4. Tokenit, konteksti-ikkuna ja muisti

Konteksti-ikkuna on tekoälyn työpöytä. Jos työpöytä on pieni, sille mahtuu vain muistilappu, kahvikuppi ja yksi sopimus. Jos työpöytä on valtava, sille voi levittää pöytäkirjoja, asiakasdataa, koodia, raportteja ja strategiadokumentteja. Mutta vaikka pöytä olisi suuri, ihmisenkin katse voi hukkua papereihin. Sama pätee tekoälyyn.

Nykyiset mallit ovat kehittyneet nopeasti pitkän kontekstin käsittelyssä. Google kertoo Gemini-mallien käsittelevän tekstiä tokeneina ja antaa karkean nyrkkisäännön, jonka mukaan yksi token vastaa noin neljää merkkiä ja 100 tokenia noin 60–80 englanninkielistä sanaa.^[4] Google on myös markkinoinut Gemini Pro -pitkän kontekstin kykyä käsitellä jopa miljoona tokenia, mikä voi tarkoittaa esimerkiksi suuria dokumenttimääriä tai koodikokonaisuuksia.^[5]

Anthropic puolestaan kuvaa tokenien laskentaa keinona hallita kustannuksia, rajoja ja mallireititystä eli sitä, mille mallille tehtävä kannattaa lähettää.^[6]

Tärkeä havainto on tämä: konteksti ei ole sama asia kuin pysyvä muisti.

Konteksti on se, mitä malli näkee juuri nyt. Muisti on järjestelmä, joka voi säilyttää tietoa keskustelujen yli. Moni arkikäyttäjä sekoittaa nämä. Siksi syntyy pettymyksiä: ”Miksi tekoäly ei muistanut tätä?” Usein vastaus on: koska asia ei ollut enää mukana kontekstissa, tai palvelu ei säilytä sitä muistina.

5. Suomen kieli tokenisaation testipenkkinä

Suomen kieli on tokenisaatiolle kiinnostava haaste. Englannissa monet sanat ovat lyhyitä ja erillisiä. Suomen kielessä merkitystä pakataan pitkiin taivutusmuotoihin ja yhdyssanoihin.

Ajatellaan sanaa:

kasvuyritysrahoituskierroksellaan

Ihminen tunnistaa siitä osia: kasvu, yritys, rahoitus, kierros, omistus- tai sijamuoto. Tokenisaattori voi kuitenkin pilkkoa sanan useisiin osiin. Siksi suomenkielinen teksti voi kuluttaa konteksti-ikkunaa nopeammin kuin käyttäjä odottaa.

Käytännön vinkki on hyvä: suomen kielessä yksi sana voi usein olla 2–3 tokenia, joskus enemmänkin. Tämä ei ole luonnonlaki, vaan riippuu mallista ja tokenisaattorista. Siksi tarkka määrä kannattaa aina mitata käytettävän mallin omalla tokenityökalulla. OpenAI tarjoaa tokenizer-työkalun, jolla voi katsoa, miten teksti pilkkoutuu ja montako tokenia siitä syntyy.^[7]

Miksi tällä on väliä? Koska suomenkielisessä organisaatiossa pitkät dokumentit, viranomaistekstit, sopimukset, tutkimukset ja strategiamateriaalit voivat paisua tokenimäärältään nopeasti. Sama 20-sivuinen aineisto ei ole kaikilla kielillä mallille yhtä ”kevyt”.

Tämä ei tarkoita, että suomea pitäisi välttää. Se tarkoittaa, että suomen kanssa kannattaa olla tietoinen.

6. Miten tokenisaatio vaikuttaa kustannuksiin?

Tekoälyn kustannus ei synny vain siitä, montako käyttäjää palvelua käyttää. Se syntyy siitä, montako tokenia palvelu käsittelee.

Yksinkertainen kaava:

kokonaiskustannus = syötetokenit + vastaustokenit + mahdolliset sisäiset päättelytokenit + toistuvien kutsujen määrä

OpenAI kertoo, että kehittyneissä malleissa voi olla myös sisäisiä reasoning tokens -päättelytokeneita, joita malli käyttää ennen lopullisen vastauksen tuottamista. Nämä voivat näkyä käyttömetadatassa ja liittyä laskutukseen.^[8]

Tämä on yritykselle iso asia.

Kuvitellaan asiakaspalvelubotti, joka saa jokaiseen vastaukseen mukaan:

pitkän yrityksen palvelukuvauksen
koko asiakashistorian
sisäiset ohjeet
palautusehdot
edellisen keskustelun
käyttäjän uuden kysymyksen

Jos tätä tehdään tuhansia kertoja päivässä, pienikin ylimääräinen tekstimäärä muuttuu euroiksi.

Tässä kohtaa tokenisaatio muuttuu teknisestä yksityiskohdasta liiketoimintakysymykseksi. Hyvin suunniteltu tekoälyjärjestelmä ei lähetä mallille kaikkea mahdollista. Se lähettää vain sen, mikä on tehtävän kannalta olennaista.

7. Mitä tämä tarkoittaa yrittäjälle ja johtajalle?

Yrittäjälle tokenisaatio on ennen kaikkea ajattelutavan muutos.

Tekoälyä ei kannata johtaa vain kysymällä: ”Mitä kaikkea voisimme automatisoida?” Parempi kysymys on: ”Mitä tietoa malli tarvitsee onnistuakseen, ja mitä tietoa se ei tarvitse?”

Tämä muistuttaa hyvää johtamista. Hyvä johtaja ei hukuta tiimiä kaikkeen mahdolliseen taustamateriaaliin. Hän antaa tavoitteen, kontekstin, päätöksenteon rajat ja oikeat lähteet. Sama pätee tekoälyyn.

Yrityksessä tokenit näkyvät ainakin neljässä paikassa:

Kustannuksissa. Pitkät promptit ja laajat dokumentit maksavat enemmän.
Nopeudessa. Pitkä konteksti voi hidastaa vastausta.
Laadussa. Liika taustatieto voi sekoittaa mallin fokuksen.
Tietoturvassa. Mitä enemmän tietoa lähetetään, sitä tarkemmin pitää miettiä, mitä saa lähettää.

Tekoälyn käyttöönotossa ei siis riitä, että valitaan ”paras malli”. Pitää suunnitella tiedon kulku.

8. Startupien ja kasvuyritysten näkökulma

Startupille tokenisaatio on erityisen tärkeää, koska pienessä yrityksessä jokainen kustannus ja jokainen tuotevalinta tuntuu nopeasti.

Jos rakennat SaaS-palvelua eli pilvipohjaista ohjelmistotuotetta, jota asiakkaat käyttävät tilausmaksulla, tokenit voivat olla osa yksikkötaloutta. Yksikkötalous tarkoittaa sitä, paljonko yhden asiakkaan palveleminen maksaa ja paljonko hänestä jää katetta.

Tämä on helppo unohtaa MVP-vaiheessa. MVP tarkoittaa ensimmäistä toimivaa versiota tuotteesta, jolla testataan, haluavatko asiakkaat oikeasti käyttää ratkaisua.

Alussa voi tuntua järkevältä lähettää mallille kaikki:

koko käyttäjäprofiili
kaikki dokumentit
pitkä järjestelmäohje
koko keskusteluhistoria
täydellinen tietokantapoiminta

Se toimii demossa. Mutta kun käyttäjiä on 10 000, tokenilasku alkaa puhua.

Kasvuyrityksen kannattaa kysyä varhain:

Voimmeko tiivistää kontekstia?
Voimmeko hakea vain olennaiset dokumenttipalat?
Voimmeko käyttää halvempaa mallia helppoihin tehtäviin?
Voimmeko välimuistittaa toistuvia syötteitä?
Voimmeko rajoittaa vastausten pituutta?

Tokenit ovat tuotteen näkymätöntä infrastruktuuria. Niitä ei näy käyttöliittymässä, mutta ne voivat ratkaista, onko palvelu kannattava.

9. Käytännön esimerkit: huono, parempi ja erinomainen prompti

Huono esimerkki

Tässä on 80 sivua materiaalia. Tee tästä hyvä yhteenveto.

Tämä voi toimia, jos malli pystyy käsittelemään aineiston. Mutta se on kallis, epätarkka ja altis sille, että olennaiset kohdat hukkuvat.

Parempi esimerkki

Lue tämä 80-sivuinen materiaali. Tee yhteenveto erityisesti asiakasriskeistä, kustannusvaikutuksista ja johtoryhmälle tärkeistä päätöskohdista. Älä referoi kaikkea.

Tässä tekoäly saa fokuksen. Se tietää, mitä etsiä.

Erinomainen esimerkki

Toimi kasvuyrityksen operatiivisena neuvonantajana. Analysoi alla oleva materiaali vain näiden kysymysten kautta:

1) Mitkä kohdat vaikuttavat seuraavan 6 kuukauden kassavirtaan?
2) Mitkä riskit vaativat päätöksen johtoryhmältä?
3) Mitkä asiat ovat vain taustatietoa?

Tee lopuksi yhden sivun päätösmuistio.

Tämä on parempi, koska se säästää tokeneita ja ohjaa mallin ajattelua. Se ei pyydä kaikkea. Se pyytää olennaista.

10. Riskit ja väärinkäsitykset

Tokenisaatioon liittyy monta väärinkäsitystä.

Ensimmäinen on ajatus, että suurempi konteksti ratkaisee kaiken. Ei ratkaise. Pitkä konteksti auttaa, mutta se ei poista tarvetta valita, rajata ja jäsentää tietoa.

Toinen on oletus, että tokenit vastaavat sanoja. Eivät vastaa. Tämä on erityisen tärkeää suomen kielessä, jossa pitkät sanat ja taivutusmuodot voivat pilkkoutua useiksi tokeneiksi.

Kolmas on usko siihen, että malli muistaa kaiken keskustelusta. Todellisuudessa keskustelun sisältö kertyy kontekstiin, ja kun raja tulee vastaan, järjestelmä joutuu tiivistämään, poistamaan tai muuten hallitsemaan vanhaa tietoa. Anthropic kuvaa kontekstin kasvavan keskustelun edetessä, kun aiemmat viestit ja vastaukset säilyvät mukana konteksti-ikkunassa.^[2]

Neljäs riski liittyy tietoturvaan. Kun organisaatio yrittää ”parantaa” tekoälyn vastausta lisäämällä mukaan kaiken mahdollisen taustatiedon, se voi samalla lisätä turhaa henkilötietojen, liikesalaisuuksien tai sopimustietojen käsittelyä.

Vastuullinen tekoälyn käyttö ei ole vain sitä, että malli vastaa hyvin. Se on myös sitä, että mallille annetaan vain se tieto, jonka se oikeasti tarvitsee.

11. Eettinen ja vastuullinen näkökulma

Tokenisaatio kuulostaa neutraalilta teknologialta. Mutta sen vaikutukset eivät ole neutraaleja.

Jos jokin kieli pilkkoutuu keskimäärin useampiin tokeneihin kuin toinen, sen käsittely voi olla kalliimpaa tai tehottomampaa. Tämä voi vaikuttaa siihen, millä kielillä tekoälypalveluja kehitetään, testataan ja optimoidaan.

Suomen kaltaisille pienemmille kielialueille tämä on tärkeä kysymys. Jos yritys rakentaa tekoälypalvelun vain englanninkielisen datan ja kustannuslogiikan perusteella, suomenkielinen käyttö voi yllättää. Ei siksi, että suomi olisi ongelma, vaan siksi, että järjestelmä on suunniteltu huolimattomasti.

Vastuullinen organisaatio testaa:

miten malli toimii suomeksi
miten tokenimäärät eroavat eri kielillä
miten kustannukset muuttuvat
miten laatu säilyy
miten käyttäjälle kerrotaan rajoista

Tekoälyn tasa-arvo ei synny juhlapuheista. Se syntyy myös tällaisista arkisista teknisistä valinnoista.

12. Tokenisaatio osana isompaa AI-murrosta

Tokenisaatio kertoo jotain olennaista tekoälymurroksesta.

Meillä on taipumus inhimillistää tekoälyä. Sanomme, että se lukee, ymmärtää, pohtii ja muistaa. Nämä sanat ovat hyödyllisiä arkikielessä, mutta ne voivat hämärtää todellisuutta.

Tekoäly ei ole ihminen, joka istuu pöydän ääressä lukemassa raporttia. Se on järjestelmä, joka käsittelee tokeneita, laskee todennäköisyyksiä ja tuottaa seuraavia tokeneita aiemman kontekstin perusteella. Silti lopputulos voi tuntua älykkäältä.

Tässä on tekoälyn kiehtova ristiriita: mekanismi on matemaattinen, mutta kokemus on sosiaalinen. Käyttäjä kokee keskustelevansa. Malli käsittelee tokeneita.

Yrityksille tämä tarkoittaa, että tekoälyä pitää johtaa kahdella tasolla:

ihmisten kokemuksen tasolla
teknisen järjestelmän tasolla

Hyvä tekoälystrategia ymmärtää molemmat.

13. Tulevaisuus: mihin tokenisaatio kehittyy?

Tokenisaatio ei katoa lähivuosina. Mutta sen merkitys voi muuttua.

1. Konteksti-ikkunat kasvavat

Miljoonan tokenin konteksti ei ole enää futuristinen ajatus, vaan osa nykyisten suurten mallien kilpailua. Google ja Anthropic ovat molemmat tuoneet esiin pitkän kontekstin mahdollisuuksia.^[5] Mutta suurempi ikkuna ei poista tarvetta hyvälle tiedonhallinnalle.

2. Tokenien laskenta automatisoituu

Yhä useampi järjestelmä laskee tokenit taustalla ja ohjaa tehtävän sopivalle mallille. Anthropic mainitsee tokenien laskennan hyötyinä muun muassa kustannusten hallinnan, rajoitusten ennakoinnin ja mallireitityksen.^[6]

3. Kontekstin tiivistäminen paranee

Pitkissä keskusteluissa järjestelmät oppivat tiivistämään aiempaa tietoa paremmin. Tämä ei ole sama kuin täydellinen muisti, mutta se voi tehdä käyttökokemuksesta sujuvamman.

4. Monikielisyys paranee

Tokenisaattorit ja mallit kehittyvät todennäköisesti paremmiksi myös suomen kaltaisissa kielissä. Silti pienemmät kielet tarvitsevat tietoista testausta.

5. Hype väistyy operatiivisen osaamisen tieltä

Alkuvaiheessa moni kysyi: ”Mitä kaikkea tekoäly voi tehdä?” Seuraava vaihe on käytännöllisempi: ”Miten teemme tämän laadukkaasti, turvallisesti ja kannattavasti?” Tokenit ovat tässä keskustelussa keskeisiä.

14. Johtopäätökset

Tokenisaatio on tekoälyn arjen perusmekaniikka.

Se selittää, miksi tekoäly ei käsittele tekstiä kuten ihminen. Se selittää, miksi pitkät dokumentit maksavat. Se selittää, miksi suomenkielinen teksti voi kuluttaa konteksti-ikkunaa yllättävän nopeasti. Se selittää myös, miksi hyvä prompti ei ole vain kauniisti muotoiltu kysymys, vaan resurssiviisas ohje.

Tärkein oppi on tämä:

Tekoälyn tehokas käyttö ei tarkoita sitä, että mallille annetaan mahdollisimman paljon tietoa. Se tarkoittaa sitä, että mallille annetaan oikea tieto oikeassa muodossa.

Yrittäjälle tämä on kilpailuetu. Johtajalle se on kustannus- ja laatuasia. Asiantuntijalle se on työn uusi perustaito. Opiskelijalle se on tapa ymmärtää, miksi tekoälyn vastaukset joskus onnistuvat ja joskus hajoavat.

Tokenisaatio on näkymätön, mutta sen vaikutukset näkyvät kaikkialla.

15. Käytännön mallit, tarkistuslistat ja työpohjat

Yleinen toimintamalli: tokeniviisas tekoälyn käyttö

Määrittele tehtävä tarkasti.
Valitse vain tehtävän kannalta olennainen aineisto.
Poista turha toisto.
Anna mallille rooli ja tavoite.
Rajaa vastausmuoto.
Testaa tokenimäärä.
Seuraa kustannuksia käytössä.
Paranna promptia datan perusteella.

Tarkistuslista ennen pitkän aineiston lähettämistä mallille

Kysy:

Tarvitseeko malli koko dokumentin?
Riittäisikö tiivistelmä?
Voinko jakaa aineiston osiin?
Onko mukana henkilötietoja tai liikesalaisuuksia?
Onko tehtävä analyysi, tiivistys, päätösmuistio vai ideointi?
Kuinka pitkä vastaus oikeasti tarvitaan?
Onko suomenkielinen aineisto tokenimäärältään yllättävän raskas?

Kysymyspatteristo johtoryhmälle

Missä prosesseissa tekoäly käsittelee eniten tekstiä?
Mitkä käyttötapaukset aiheuttavat suurimmat tokenikustannukset?
Onko meillä ohjeistus siitä, mitä dataa mallille saa antaa?
Mittaammeko tekoälyn kustannusta käyttäjää, asiakasta tai tehtävää kohti?
Onko suomenkielinen käyttö testattu erikseen?
Voisiko osa tehtävistä hoitua halvemmalla tai pienemmällä mallilla?

Aloittelijan malli

Käytä tätä promptirunkoa:

Toimi [rooli].
Tehtäväsi on [tavoite].
Käytä vain alla olevaa aineistoa.
Keskity erityisesti näihin asioihin: [1–3 kohtaa].
Älä referoi kaikkea.
Tee vastaus muodossa [lista / muistio / taulukko / tiivistelmä].
Pituus enintään [x] sanaa.

Edistyneen käyttäjän malli

Analysoi aineisto kolmessa vaiheessa:

1) Poimi vain tehtävän kannalta olennaiset kohdat.
2) Erottele faktat, tulkinnat ja epävarmuudet.
3) Tee lopuksi päätösehdotus.

Jos aineisto ei riitä johtopäätökseen, sano se suoraan. Älä täytä aukkoja arvauksilla.

Tiimille sopiva työpohja

Tehtävä: Mitä haluamme tekoälyn tekevän?
Aineisto: Mitä tietoa se tarvitsee?
Rajaus: Mitä tietoa se ei tarvitse?
Riskit: Sisältääkö aineisto arkaluontoista tietoa?
Tokenit: Onko aineisto testattu tokenityökalulla?
Laatu: Mistä tiedämme, että vastaus on hyvä?
Kustannus: Mitä yksi käyttökerta arviolta maksaa?
Parannus: Miten promptia tai aineiston hakua voidaan keventää?

Tokenisaatio ei ole tekoälyn tylsä tekninen alaviite. Se on käyttöliittymä ihmisen ajattelun ja koneen laskennan välissä.

Kun sen ymmärtää, tekoäly muuttuu vähemmän mystiseksi — ja paljon käyttökelpoisemmaksi.