Mitä tokenit ovat? Näin ne vaikuttavat AI:n hintaan ja laatuun

Intro

AI doesn't read words; it breaks text into smaller pieces called tokens. Understanding tokens helps you grasp AI's limitations and costs.

Käytännön vinkki: Suomen kielessä yksi sana voi olla 2-3 tokenia, mikä kuluttaa konteksti-ikkunaa nopeammin.

Tokenization: AI's invisible language that sets the limits of its understanding — and its costs

Tokens are an AI resource — a bit like time, money or server capacity. Once you understand how text gets split up, you understand why a long contract doesn't fit, why Finnish uses up space surprisingly fast and why the most expensive answer isn't always the best.

1. Introduction: why AI doesn't really “read” the way humans do

Kun ihminen lukee lauseen ”Suomalainen yrittäjä rakentaa kansainvälistä kasvuyhtiötä”, hän näkee sanat, merkitykset ja ehkä mielessään jopa tilanteen: perustajan, tiimin, rahoituskierroksen, epävarmuuden ja kunnianhimon.

AI sees something completely different. It doesn't start from words. It splits the text into smaller pieces called tokens. A token can be a whole word, part of a word, a punctuation mark or sometimes a string of characters that doesn't look very meaningful to the human eye.

OpenAI:n mukaan kielimallit käsittelevät tekstiä tokenien muodossa, ja tokenien määrä vaikuttaa sekä siihen, mahtuuko teksti mallin käsiteltäväksi että siihen, mitä API-kutsu maksaa.[1]

This sounds like a technical detail. It isn't.

Tokenization is one of those invisible mechanisms that determine why AI sometimes forgets the beginning of a conversation, why a long contract won't fit for analysis, why Finnish-language text can use up space surprisingly fast and why using AI costs more than it first appears in the spreadsheet.

If a company uses AI in customer service, legal work, sales, coding, marketing or analyzing internal information, tokens aren't a nerdy side note. They are a resource. A bit like time, money or server capacity.

2. What is tokenization?

Tokenization means splitting text into smaller units that a language model can process. Put simply:

• humans see words in a text

• computers see characters

• a language model processes text as tokens

A token is not the same as a word.

Esimerkiksi englanninkielinen sana running voi joissain tokenisaattoreissa olla yksi token, mutta harvinaisempi tai pidempi sana voidaan pilkkoa useampaan osaan. OpenAI:n tiktoken-esimerkissä sana- ja merkkijono voidaan jakaa osiin kuten "t", "ik", "token", " is", " great" ja "!".[1]

A jigsaw puzzle is a good analogy. For a human, a word is a finished picture. For AI, text is a box of small pieces from which it builds the next piece using probabilities. So it doesn't “understand” text the way a human does; instead, it processes the structures of character strings and the relationships between them.

This doesn't make AI useless. Quite the opposite. It is precisely this mechanism that enables a model to handle many languages, specialist terms, code and new words without every possible word having to be taught to it separately. But it also brings limits.

3. Why do tokens matter right now?

Tokens matter for three reasons: capacity, cost and quality.

Ensimmäinen on kapasiteetti. Jokaisella kielimallilla on konteksti-ikkuna eli määrä tokeneita, jonka se pystyy ottamaan huomioon yhdessä keskustelussa tai tehtävässä. Claude-dokumentaatio kuvaa konteksti-ikkunaa tilana, johon kertyvät keskustelun aiemmat viestit, käyttäjän ohjeet ja mallin vastaukset.[2]

Toinen on kustannus. Monissa tekoälypalveluissa hinnoittelu perustuu tokenien määrään: erikseen syötteen tokeneihin ja vastauksen tokeneihin. OpenAI:n hinnoittelusivu näyttää mallikohtaiset hinnat miljoonaa tokenia kohti, ja OpenAI:n ohjeistus korostaa, että tokenimäärät näkyvät käyttömetadatassa ja liittyvät laskutukseen.[3]

Kolmas on laatu. Mitä enemmän tekstiä työnnetään mallille, sitä enemmän sen pitää erottaa olennainen epäolennaisesta. Pitkä konteksti ei automaattisesti tarkoita parempaa vastausta. Se tarkoittaa vain, että mallilla on enemmän materiaalia käsiteltävänä.

This is an interesting point from a leadership perspective. In companies, AI is often talked about like a magic box: “Let's put all the documents in there and ask.” In reality, a better question is: what information should the model see for this particular task?

4. Tokens, the context window and memory

The context window is AI's desk. If the desk is small, it only holds a sticky note, a coffee cup and one contract. If the desk is huge, you can spread out meeting minutes, customer data, code, reports and strategy documents. But even if the desk is large, a person's attention can get lost in the papers too. The same applies to AI.

Nykyiset mallit ovat kehittyneet nopeasti pitkän kontekstin käsittelyssä. Google kertoo Gemini-mallien käsittelevän tekstiä tokeneina ja antaa karkean nyrkkisäännön, jonka mukaan yksi token vastaa noin neljää merkkiä ja 100 tokenia noin 60–80 englanninkielistä sanaa.[4] Google on myös markkinoinut Gemini Pro -pitkän kontekstin kykyä käsitellä jopa miljoona tokenia, mikä voi tarkoittaa esimerkiksi suuria dokumenttimääriä tai koodikokonaisuuksia.[5]

Anthropic puolestaan kuvaa tokenien laskentaa keinona hallita kustannuksia, rajoja ja mallireititystä eli sitä, mille mallille tehtävä kannattaa lähettää.[6]

Tärkeä havainto on tämä: konteksti ei ole sama asia kuin pysyvä muisti.

Context is what the model sees right now. Memory is a system that can retain information across conversations. Many everyday users confuse the two. That leads to disappointment: “Why didn't the AI remember this?” Often the answer is: because it was no longer in the context, or the service doesn't keep it as memory.

5. Finnish as a stress test for tokenization

Finnish is an interesting challenge for tokenization. In English, many words are short and separate. In Finnish, meaning is packed into long inflected forms and compound words.

Consider the word:

kasvuyritysrahoituskierroksellaan

A person recognizes its parts: kasvu (growth), yritys (company), rahoitus (funding), kierros (round), plus a possessive and case ending. A tokenizer, however, may split the word into many pieces. That's why Finnish-language text can use up the context window faster than the user expects.

Käytännön vinkki on hyvä: suomen kielessä yksi sana voi usein olla 2–3 tokenia, joskus enemmänkin. Tämä ei ole luonnonlaki, vaan riippuu mallista ja tokenisaattorista. Siksi tarkka määrä kannattaa aina mitata käytettävän mallin omalla tokenityökalulla. OpenAI tarjoaa tokenizer-työkalun, jolla voi katsoa, miten teksti pilkkoutuu ja montako tokenia siitä syntyy.[7]

Why does this matter? Because in a Finnish-speaking organization, long documents, official texts, contracts, research and strategy materials can quickly balloon in token count. The same 20-page body of material isn't equally “light” for the model in every language.

This doesn't mean Finnish should be avoided. It means you should be aware of it when working in Finnish.

6. How does tokenization affect costs?

The cost of AI doesn't come only from how many users use the service. It comes from how many tokens the service processes.

A simple formula:

total cost = input tokens + output tokens + any internal reasoning tokens + the number of repeated calls

OpenAI kertoo, että kehittyneissä malleissa voi olla myös sisäisiä reasoning tokens -päättelytokeneita, joita malli käyttää ennen lopullisen vastauksen tuottamista. Nämä voivat näkyä käyttömetadatassa ja liittyä laskutukseen.[8]

This is a big deal for a company.

Imagine a customer service bot that includes the following with every answer:

• the company's long service description

• the entire customer history

• internal guidelines

• return terms

• the previous conversation

• the user's new question

If this is done thousands of times a day, even a small amount of extra text turns into euros.

Tässä kohtaa tokenisaatio muuttuu teknisestä yksityiskohdasta liiketoimintakysymykseksi. Hyvin suunniteltu tekoälyjärjestelmä ei lähetä mallille kaikkea mahdollista. Se lähettää vain sen, mikä on tehtävän kannalta olennaista.

7. What does this mean for business owners and executives?

For a business owner, tokenization is above all a change in mindset.

Tekoälyä ei kannata johtaa vain kysymällä: ”Mitä kaikkea voisimme automatisoida?” Parempi kysymys on: ”Mitä tietoa malli tarvitsee onnistuakseen, ja mitä tietoa se ei tarvitse?”

This resembles good leadership. A good leader doesn't drown the team in every possible piece of background material. They provide the goal, the context, the limits of decision-making and the right sources. The same applies to AI.

In a company, tokens show up in at least four places:

• Kustannuksissa. Pitkät promptit ja laajat dokumentit maksavat enemmän.

• Nopeudessa. Pitkä konteksti voi hidastaa vastausta.

• Laadussa. Liika taustatieto voi sekoittaa mallin fokuksen.

• Tietoturvassa. Mitä enemmän tietoa lähetetään, sitä tarkemmin pitää miettiä, mitä saa lähettää.

So when adopting AI, it isn't enough to choose “the best model.” You have to design the flow of information.

8. The perspective of startups and growth companies

For a startup, tokenization is especially important, because in a small company every cost and every product choice is felt quickly.

If you are building a SaaS service, meaning a cloud-based software product that customers use on a subscription, tokens can be part of your unit economics. Unit economics means how much it costs to serve one customer and how much margin they leave.

This is easy to forget in the MVP phase. An MVP is the first working version of a product, used to test whether customers actually want to use the solution.

At first, it may seem sensible to send the model everything:

• the entire user profile

• all documents

• a long system instruction

• the entire conversation history

• a complete database extract

It works in a demo. But when you have 10,000 users, the token bill starts to add up.

A growth company should ask early on:

• Can we compress the context?

• Can we retrieve only the relevant pieces of documents?

• Can we use a cheaper model for easy tasks?

• Can we cache repeated inputs?

• Can we limit the length of responses?

Tokens are a product's invisible infrastructure. They don't show up in the user interface, but they can determine whether a service is profitable.

9. Practical examples: bad, better and excellent prompts

Poor example

Here are 80 pages of material. Make a good summary of this.

This may work if the model can process the material. But it is expensive, imprecise and prone to burying the key points.

Better example

Read this 80-page document. Summarize it with a particular focus on customer risks, cost impacts and decision points important to the management team. Don't recap everything.

Here the AI gets a focus. It knows what to look for.

Excellent example

Act as an operational advisor to a growth company. Analyze the material below only through these questions:

1) Mitkä kohdat vaikuttavat seuraavan 6 kuukauden kassavirtaan?2) Mitkä riskit vaativat päätöksen johtoryhmältä?3) Mitkä asiat ovat vain taustatietoa?

Finally, write a one-page decision memo.

This is better because it saves tokens and guides the model's thinking. It doesn't ask for everything. It asks for what matters.

10. Risks and misconceptions

There are many misconceptions about tokenization.

Ensimmäinen on ajatus, että suurempi konteksti ratkaisee kaiken. Ei ratkaise. Pitkä konteksti auttaa, mutta se ei poista tarvetta valita, rajata ja jäsentää tietoa.

Toinen on oletus, että tokenit vastaavat sanoja. Eivät vastaa. Tämä on erityisen tärkeää suomen kielessä, jossa pitkät sanat ja taivutusmuodot voivat pilkkoutua useiksi tokeneiksi.

Kolmas on usko siihen, että malli muistaa kaiken keskustelusta. Todellisuudessa keskustelun sisältö kertyy kontekstiin, ja kun raja tulee vastaan, järjestelmä joutuu tiivistämään, poistamaan tai muuten hallitsemaan vanhaa tietoa. Anthropic kuvaa kontekstin kasvavan keskustelun edetessä, kun aiemmat viestit ja vastaukset säilyvät mukana konteksti-ikkunassa.[2]

Neljäs riski liittyy tietoturvaan. Kun organisaatio yrittää ”parantaa” tekoälyn vastausta lisäämällä mukaan kaiken mahdollisen taustatiedon, se voi samalla lisätä turhaa henkilötietojen, liikesalaisuuksien tai sopimustietojen käsittelyä.

Responsible use of AI isn't just about the model answering well. It's also about giving the model only the information it really needs.

11. The ethical and responsible perspective

Tokenization sounds like a neutral technology. But its effects aren't neutral.

If one language splits into more tokens on average than another, processing it can be more expensive or less efficient. This can influence which languages AI services are developed, tested and optimized for.

For smaller language communities such as Finnish, this is an important question. If a company builds an AI service based only on English-language data and cost logic, Finnish-language use may bring surprises. Not because Finnish is a problem, but because the system was designed carelessly.

A responsible organization tests:

• how the model performs in Finnish

• how token counts differ across languages

• how costs change

• how quality holds up

• how limitations are communicated to the user

Equality in AI doesn't come from lofty speeches. It also comes from everyday technical choices like these.

12. Tokenization as part of a larger AI transformation

Tokenization reveals something essential about the AI transformation.

We tend to humanize AI. We say it reads, understands, ponders and remembers. These words are useful in everyday language, but they can blur reality.

AI isn't a person sitting at a desk reading a report. It's a system that processes tokens, calculates probabilities and produces the next tokens based on the preceding context. Even so, the result can feel intelligent.

Tässä on tekoälyn kiehtova ristiriita: mekanismi on matemaattinen, mutta kokemus on sosiaalinen. Käyttäjä kokee keskustelevansa. Malli käsittelee tokeneita.

For companies, this means AI has to be managed on two levels:

• the level of human experience

• the level of the technical system

A good AI strategy understands both.

13. The future: where is tokenization heading?

Tokenization won't disappear in the coming years. But its significance may change.

1. Context windows are growing

Miljoonan tokenin konteksti ei ole enää futuristinen ajatus, vaan osa nykyisten suurten mallien kilpailua. Google ja Anthropic ovat molemmat tuoneet esiin pitkän kontekstin mahdollisuuksia.[5] Mutta suurempi ikkuna ei poista tarvetta hyvälle tiedonhallinnalle.

2. Token counting is becoming automated

Yhä useampi järjestelmä laskee tokenit taustalla ja ohjaa tehtävän sopivalle mallille. Anthropic mainitsee tokenien laskennan hyötyinä muun muassa kustannusten hallinnan, rajoitusten ennakoinnin ja mallireitityksen.[6]

3. Context compression is improving

In long conversations, systems are learning to summarize earlier information better. This isn't the same as perfect memory, but it can make the user experience smoother.

4. Multilingual support is improving

Tokenizers and models are likely to get better for languages like Finnish as well. Even so, smaller languages need deliberate testing.

5. Hype gives way to operational expertise

In the early days, many asked: “What are all the things AI can do?” The next phase is more practical: “How do we do this with quality, safely and profitably?” Tokens are central to this conversation.

14. Conclusions

Tokenization is a basic mechanism behind everyday AI use.

It explains why AI doesn't process text the way humans do. It explains why long documents cost money. It explains why Finnish-language text can use up the context window surprisingly fast. It also explains why a good prompt isn't just a nicely worded question but a resource-wise instruction.

The most important lesson is this:

Using AI effectively doesn't mean giving the model as much information as possible. It means giving the model the right information in the right format.

For a business owner, this is a competitive advantage. For an executive, it's a matter of cost and quality. For a professional, it's a new basic skill of the job. For a student, it's a way to understand why AI's answers sometimes succeed and sometimes fall apart.

Tokenization is invisible, but its effects are visible everywhere.

15. Practical frameworks, checklists and templates

A general operating model: token-wise use of AI

• Define the task precisely.

• Select only the material relevant to the task.

• Remove unnecessary repetition.

• Give the model a role and a goal.

• Specify the response format.

• Test the token count.

• Monitor costs in use.

• Improve the prompt based on data.

Checklist before sending long material to a model

Ask:

• Does the model need the entire document?

• Would a summary be enough?

• Can I split the material into parts?

• Does it contain personal data or trade secrets?

• Is the task analysis, summarization, a decision memo or ideation?

• How long does the answer really need to be?

• Is the Finnish-language material surprisingly heavy in token count?

A set of questions for the management team

• In which processes does AI process the most text?

• Which use cases cause the largest token costs?

• Do we have guidelines on what data may be given to the model?

• Do we measure AI costs per user, per customer or per task?

• Has Finnish-language use been tested separately?

• Could some tasks be handled with a cheaper or smaller model?

Beginner template

Use this prompt framework:

Toimi [rooli].Tehtäväsi on [tavoite].Käytä vain alla olevaa aineistoa.Keskity erityisesti näihin asioihin: [1–3 kohtaa].Älä referoi kaikkea.Tee vastaus muodossa [lista / muistio / taulukko / tiivistelmä].Pituus enintään [x] sanaa.

An advanced user's approach

Analyze the material in three steps:

1) Poimi vain tehtävän kannalta olennaiset kohdat.2) Erottele faktat, tulkinnat ja epävarmuudet.3) Tee lopuksi päätösehdotus.

If the material isn't enough for a conclusion, say so directly. Don't fill gaps with guesses.

A template for teams

• Tehtävä: Mitä haluamme tekoälyn tekevän?

• Aineisto: Mitä tietoa se tarvitsee?

• Rajaus: Mitä tietoa se ei tarvitse?

• Riskit: Sisältääkö aineisto arkaluontoista tietoa?

• Tokenit: Onko aineisto testattu tokenityökalulla?

• Laatu: Mistä tiedämme, että vastaus on hyvä?

• Kustannus: Mitä yksi käyttökerta arviolta maksaa?

• Parannus: Miten promptia tai aineiston hakua voidaan keventää?

Tokenization isn't a boring technical footnote of AI. It's the interface between human thinking and machine computation.

Once you understand it, AI becomes less mysterious — and much more useful.

Sources

• How to count tokens with Tiktoken — OpenAI Cookbook

• Context windows — Claude API Docs

• Pricing — OpenAI API

• Understand and count tokens — Gemini API, Google AI for Developers

• Gemini in Pro and long context — Google

• Token counting — Claude API Docs

• Tokenizer — OpenAI API

• What are tokens and how to count them? — OpenAI Help Center

← Palaa Oppimisen IT-taidot ja tekoäly -kokonaisuuteen