Tokenisaatio – Innohub

1. Inleiding: waarom AI niet ‘leest’ zoals een mens

Als iemand de zin leest ‘Een Finse ondernemer bouwt een internationaal groeibedrijf op’, ziet die de woorden en hun betekenis, en misschien zelfs de situatie voor zich: de oprichter, het team, de financieringsronde, de onzekerheid en de ambitie.

AI ziet iets heel anders. Het begint niet bij woorden, maar knipt de tekst in kleinere stukjes: tokens. Een token kan een heel woord zijn, een deel van een woord, een leesteken of soms een reeks tekens die voor mensen weinig betekenis lijkt te hebben.

Volgens OpenAI verwerken taalmodellen tekst in de vorm van tokens. Het aantal tokens bepaalt zowel of de tekst binnen de verwerkingsruimte van het model past als wat een API-aanroep kost.^[1]

Dat klinkt als een technisch detail. Toch gaat het veel verder.

Tokenisatie is een van de onzichtbare mechanismen die verklaren waarom AI soms het begin van een gesprek vergeet, waarom een lang contract niet in één keer kan worden geanalyseerd, waarom Finse tekst verrassend veel ruimte inneemt en waarom AI-gebruik duurder uitvalt dan de eerste berekening doet vermoeden.

Gebruikt een bedrijf AI voor klantenservice, juridische taken, verkoop, programmeren, marketing of de analyse van interne informatie, dan zijn tokens geen voetnoot voor techneuten. Ze zijn een hulpbron, net als tijd, geld of servercapaciteit.

2. Wat betekent tokenisatie?

Tokenisatie is het opdelen van tekst in kleinere eenheden die een taalmodel kan verwerken. Eenvoudig gezegd:

een mens ziet woorden in een tekst
een computer ziet tekens
een taalmodel verwerkt tekst als tokens

Een token is niet hetzelfde als een woord.

Het Engelse woord running kan bij sommige tokenizers één token zijn, terwijl een langer of minder gangbaar woord in meerdere stukken wordt opgesplitst. In het tiktoken-voorbeeld van OpenAI wordt een tekenreeks bijvoorbeeld verdeeld in "t", "ik", "token", " is", " great" en "!".^[1]

Je kunt het vergelijken met een legpuzzel. Voor een mens vormt een woord een herkenbaar geheel. Voor AI is tekst een doos vol stukjes, waarbij het op basis van waarschijnlijkheden het volgende stukje kiest. Het ‘begrijpt’ tekst dus anders dan mensen: het verwerkt patronen in tekenreeksen en de onderlinge verbanden.

Dat maakt AI niet onbruikbaar. Integendeel: juist dankzij dit mechanisme kan een model verschillende talen, vaktermen, code en nieuwe woorden verwerken zonder elk mogelijk woord afzonderlijk te hoeven leren. Maar het brengt ook beperkingen met zich mee.

3. Waarom zijn tokens juist nu belangrijk?

Tokens zijn om drie redenen belangrijk: capaciteit, kosten en kwaliteit.

Ten eerste: capaciteit. Elk taalmodel heeft een contextvenster: het aantal tokens dat het binnen één gesprek of taak tegelijk kan meenemen. De documentatie van Claude beschrijft het contextvenster als de ruimte waarin eerdere berichten, instructies van de gebruiker en antwoorden van het model samenkomen.^↗^[2]

Ten tweede: kosten. Bij veel AI-diensten hangt de prijs af van het aantal tokens, met afzonderlijke tarieven voor invoer en uitvoer. De prijspagina van OpenAI vermeldt de tarieven per miljoen tokens voor elk model. De documentatie benadrukt dat het tokengebruik in de gebruiksmetadata staat en meetelt voor de facturering.^[3]

Ten derde: kwaliteit. Hoe meer tekst je een model geeft, hoe meer het hoofd- en bijzaken uit elkaar moet houden. Een lange context levert niet automatisch een beter antwoord op. Het model heeft simpelweg meer materiaal om te verwerken.

Voor leidinggevenden is dit een interessant punt. Binnen bedrijven wordt AI vaak als een toverdoos voorgesteld: ‘We stoppen alle documenten erin en stellen een vraag.’ Een betere vraag is: welke informatie moet het model voor déze taak zien?

4. Tokens, contextvenster en geheugen

Het contextvenster is het bureau van AI. Op een klein bureau passen een notitie, een koffiekop en één contract. Op een groot bureau kun je notulen, klantgegevens, code, rapporten en strategiedocumenten uitspreiden. Maar zelfs op een groot bureau raken mensen het overzicht kwijt als het te vol ligt. Voor AI geldt hetzelfde.

De huidige modellen zijn in korte tijd veel beter geworden in het verwerken van lange contexten. Google legt uit dat Gemini-modellen tekst als tokens verwerken. Als grove vuistregel noemt het ongeveer vier tekens per token en zo’n 60–80 Engelse woorden per 100 tokens.^[4] Google heeft ook benadrukt dat Gemini Pro met een lange context tot een miljoen tokens kan verwerken, bijvoorbeeld grote hoeveelheden documenten of omvangrijke codebases.^[5]

Anthropic beschrijft het tellen van tokens als een manier om kosten en limieten te beheersen en taken naar het juiste model te sturen.^[6]

Het belangrijkste onderscheid: context is niet hetzelfde als een blijvend geheugen.

Context is wat het model op dit moment ziet. Een geheugen is een systeem dat informatie tussen gesprekken kan bewaren. Gebruikers halen die twee vaak door elkaar. Dat leidt tot teleurstelling: ‘Waarom was AI dit vergeten?’ Vaak is het antwoord dat de informatie niet meer in de context stond, of dat de dienst die niet als herinnering bewaart.

5. Fins als proeftuin voor tokenisatie

Het Fins vormt een interessante uitdaging voor tokenisatie. Veel Engelse woorden zijn kort en staan los van elkaar. In het Fins zit veel betekenis verpakt in lange verbogen vormen en samenstellingen.

Neem het woord:

kasvuyritysrahoituskierroksellaan

Een mens herkent daarin de onderdelen voor groei, bedrijf, financiering, ronde en een bezits- of naamvalsvorm. Een tokenizer kan het woord echter in veel stukjes verdelen. Daardoor kan Finse tekst het contextvenster sneller vullen dan een gebruiker verwacht.

Een bruikbare vuistregel: één Fins woord kan vaak twee tot drie tokens beslaan, en soms meer. Dat is geen natuurwet; het hangt af van het model en de tokenizer. Meet het exacte aantal daarom met het tokenhulpmiddel van het model dat je gebruikt. OpenAI biedt een tokenizer, waarmee je kunt bekijken hoe tekst wordt opgesplitst en hoeveel tokens dat oplevert.^↗^[7]

Waarom is dat relevant? Bij een Finstalige organisatie kunnen lange documenten, overheidsteksten, contracten, onderzoeken en strategiestukken snel veel tokens vergen. Hetzelfde document van twintig pagina’s is niet in elke taal even ‘licht’ voor het model.

Dat betekent niet dat je het Fins moet vermijden. Wel dat je er bewust mee moet omgaan.

6. Hoe beïnvloedt tokenisatie de kosten?

De kosten van AI hangen niet alleen af van het aantal gebruikers. Ze hangen ook af van het aantal tokens dat de dienst verwerkt.

Een eenvoudige formule:

totale kosten = invoertokens + uitvoertokens + eventuele interne redeneertokens + het aantal herhaalde aanroepen

OpenAI legt uit dat geavanceerde modellen ook interne reasoning tokens kunnen gebruiken: redeneertokens die het model verwerkt voordat het een definitief antwoord produceert. Ze kunnen zichtbaar zijn in de gebruiksmetadata en meetellen voor de facturering.^[8]

Voor een bedrijf kan dat veel uitmaken.

Stel je een klantenservicebot voor die voor ieder antwoord het volgende meekrijgt:

een uitgebreide beschrijving van de bedrijfsdiensten
de volledige klantgeschiedenis
interne instructies
retourvoorwaarden
het vorige gesprek
de nieuwe vraag van de gebruiker

Als dat duizenden keren per dag gebeurt, wordt zelfs een beetje overtollige tekst een kostenpost in euro’s.

Hier wordt tokenisatie van een technisch detail een bedrijfsvraagstuk. Een goed ontworpen AI-systeem stuurt het model alleen informatie die voor de taak relevant is.

7. Wat betekent dit voor ondernemers en leidinggevenden?

Voor ondernemers vraagt tokenisatie vooral om een andere manier van denken.

Bij het aansturen van AI is ‘Wat kunnen we allemaal automatiseren?’ niet de enige vraag. Vraag ook: ‘Welke informatie heeft het model nodig om de taak goed uit te voeren, en welke niet?’

Dat lijkt op goed leidinggeven. Een goede leidinggevende overspoelt het team niet met alle denkbare achtergrondinformatie, maar geeft een doel, context, beslisruimte en de juiste bronnen. Voor AI geldt hetzelfde.

Binnen een bedrijf merk je het effect van tokens op minstens vier vlakken:

Kosten. Lange prompts en omvangrijke documenten kosten meer.
Snelheid. Een lange context kan het antwoord vertragen.
Kwaliteit. Te veel achtergrondinformatie kan de aandacht van het model afleiden.
Informatiebeveiliging. Hoe meer informatie je verstuurt, hoe zorgvuldiger je moet bepalen wat je mag delen.

Voor de invoering van AI is het dus onvoldoende om ‘het beste model’ te kiezen. Je moet ook de informatiestroom ontwerpen.

8. Het perspectief van startups en groeibedrijven

Voor startups is tokenisatie extra belangrijk: in een klein bedrijf zijn de gevolgen van elke kostenpost en productkeuze snel merkbaar.

Bouw je een SaaS-dienst, een softwareproduct in de cloud waarvoor klanten een abonnement betalen, dan kunnen tokens onderdeel zijn van de kosten en opbrengsten per klant. Daarbij kijk je hoeveel het kost om één klant te bedienen en hoeveel marge die oplevert.

Dat wordt in de MVP-fase makkelijk vergeten. Een MVP is de eerste werkende versie van een product, waarmee je toetst of klanten de oplossing echt willen gebruiken.

Aan het begin lijkt het misschien verstandig om alles naar het model te sturen:

het volledige gebruikersprofiel
alle documenten
een lange systeeminstructie
de volledige gespreksgeschiedenis
een volledige export uit de database

In een demo werkt dat. Maar bij 10.000 gebruikers laat de tokenrekening zich voelen.

Een groeibedrijf doet er goed aan vroeg deze vragen te stellen:

Kunnen we de context inkorten?
Kunnen we alleen relevante documentfragmenten ophalen?
Kunnen we eenvoudige taken met een goedkoper model afhandelen?
Kunnen we herhaalde invoer cachen?
Kunnen we de lengte van antwoorden begrenzen?

Tokens zijn de onzichtbare infrastructuur van je product. Je ziet ze niet in de interface, maar ze kunnen bepalen of de dienst winstgevend is.

9. Praktijkvoorbeelden: een slechte, betere en uitstekende prompt

Een slecht voorbeeld

Hier zijn tachtig pagina’s materiaal. Maak er een goede samenvatting van.

Dat kan werken als het model het materiaal aankan. Maar het is duur, onnauwkeurig en vergroot de kans dat belangrijke punten verloren gaan.

Een beter voorbeeld

Lees dit document van tachtig pagina’s. Vat vooral de klantrisico’s, de gevolgen voor de kosten en de beslispunten voor het management samen. Geef niet alles weer.

Zo krijgt AI een duidelijke focus. Het weet waarnaar het moet zoeken.

Een uitstekend voorbeeld

Treed op als operationeel adviseur van een groeibedrijf. Analyseer het onderstaande materiaal uitsluitend aan de hand van deze vragen:

1) Welke punten beïnvloeden de kasstroom in de komende zes maanden?
2) Voor welke risico’s moet het management een besluit nemen?
3) Welke informatie dient alleen als achtergrond?

Sluit af met een beslisnotitie van één pagina.

Dit werkt beter omdat het tokens bespaart en richting geeft aan de verwerking door het model. Je vraagt om de kern, in plaats van om alles.

10. Risico’s en misverstanden

Over tokenisatie bestaan verschillende misverstanden.

Het eerste is dat een grotere context alles oplost. Dat is niet zo. Een lange context helpt, maar informatie moet nog steeds worden geselecteerd, afgebakend en gestructureerd.

Het tweede is dat tokens gelijkstaan aan woorden. Ook dat klopt niet. Vooral in het Fins is dit belangrijk: lange woorden en verbogen vormen kunnen uit meerdere tokens bestaan.

Het derde is dat het model alles uit een gesprek onthoudt. In werkelijkheid stapelt de inhoud zich op in de context. Zodra de grens is bereikt, moet het systeem oude informatie samenvatten, verwijderen of op een andere manier beheren. Anthropic beschrijft hoe de context tijdens een gesprek groeit doordat eerdere berichten en antwoorden in het contextvenster blijven staan.^[2]

Een vierde risico betreft informatiebeveiliging. Wanneer een organisatie het antwoord van AI wil ‘verbeteren’ door alle mogelijke achtergrondinformatie toe te voegen, kan ze ook onnodig meer persoonsgegevens, bedrijfsgeheimen of contractgegevens gaan verwerken.

Verantwoord AI-gebruik betekent dat het model goede antwoorden geeft én alleen de informatie krijgt die het werkelijk nodig heeft.

11. Ethiek en verantwoord gebruik

Tokenisatie klinkt als neutrale technologie, maar de gevolgen ervan zijn niet neutraal.

Als een taal gemiddeld in meer tokens wordt opgedeeld dan een andere, kan de verwerking duurder of minder efficiënt zijn. Dat kan beïnvloeden voor welke talen AI-diensten worden ontwikkeld, getest en geoptimaliseerd.

Voor kleinere taalgebieden, zoals het Finse, is dat een belangrijke kwestie. Bouwt een bedrijf een AI-dienst uitsluitend op basis van Engelstalige gegevens en kostenberekeningen, dan kan het gebruik in het Fins verrassingen opleveren. Dat komt door onzorgvuldig systeemontwerp, niet door een probleem met de taal.

Een verantwoordelijke organisatie test:

hoe het model presteert in het Fins
hoe het aantal tokens per taal verschilt
hoe de kosten veranderen
of de kwaliteit op peil blijft
hoe gebruikers over beperkingen worden geïnformeerd

Gelijke kansen met AI ontstaan niet door mooie woorden alleen. Ook zulke alledaagse technische keuzes maken het verschil.

12. Tokenisatie als onderdeel van de bredere AI-omslag

Tokenisatie laat iets wezenlijks zien over de veranderingen die AI teweegbrengt.

We hebben de neiging AI menselijke eigenschappen toe te schrijven. We zeggen dat het leest, begrijpt, nadenkt en onthoudt. Dat is handig in het dagelijks taalgebruik, maar kan verhullen wat er werkelijk gebeurt.

AI is geen mens die aan een bureau een rapport zit te lezen. Het is een systeem dat tokens verwerkt, waarschijnlijkheden berekent en op basis van de eerdere context nieuwe tokens produceert. Toch kan het resultaat intelligent overkomen.

Daarin schuilt een fascinerende spanning: het mechanisme is wiskundig, maar de ervaring is sociaal. De gebruiker ervaart een gesprek. Het model verwerkt tokens.

Voor bedrijven betekent dit dat AI op twee niveaus moet worden aangestuurd:

op het niveau van de menselijke ervaring
op het niveau van het technische systeem

Een goede AI-strategie houdt met beide rekening.

13. De toekomst: hoe ontwikkelt tokenisatie zich?

Tokenisatie verdwijnt de komende jaren niet. Wel kan het belang ervan veranderen.

1. Contextvensters worden groter

Een context van een miljoen tokens is geen toekomstmuziek meer, maar onderdeel van de concurrentie tussen grote modellen. Zowel Google als Anthropic heeft gewezen op de mogelijkheden van lange contexten.^[5] Een groter venster neemt de noodzaak van goed informatiebeheer echter niet weg.

2. Tokens tellen wordt geautomatiseerd

Steeds meer systemen tellen tokens op de achtergrond en sturen taken naar een geschikt model. Anthropic noemt kostenbeheersing, het vooraf inschatten van limieten en de keuze van het juiste model als voordelen.^[6]

3. Context wordt beter samengevat

Systemen leren eerdere informatie in lange gesprekken beter samen te vatten. Dat is niet hetzelfde als een perfect geheugen, maar kan het gebruik wel soepeler maken.

4. Meertaligheid verbetert

Tokenizers en modellen worden waarschijnlijk ook beter in talen zoals het Fins. Kleinere talen moeten wel gericht getest blijven worden.

5. De hype maakt plaats voor praktische deskundigheid

Eerst vroegen veel mensen: ‘Wat kan AI allemaal?’ De volgende fase draait om een praktischer vraag: ‘Hoe doen we dit goed, veilig en winstgevend?’ Tokens spelen daarin een centrale rol.

14. Conclusies

Tokenisatie behoort tot de basiswerking van AI in de praktijk.

Het verklaart waarom AI tekst anders verwerkt dan mensen, waarom lange documenten geld kosten en waarom Finse tekst het contextvenster verrassend snel kan vullen. Het laat ook zien dat een goede prompt meer is dan een mooi geformuleerde vraag: het is een instructie die verstandig met middelen omgaat.

De belangrijkste les:

Effectief AI-gebruik betekent dat je het model de juiste informatie in de juiste vorm geeft, in plaats van zo veel mogelijk informatie.

Voor ondernemers is dit een concurrentievoordeel. Voor leidinggevenden gaat het om kosten en kwaliteit. Voor professionals is het een nieuwe basisvaardigheid. Studenten helpt het begrijpen waarom AI-antwoorden soms goed uitpakken en soms ontsporen.

Tokenisatie is onzichtbaar, maar de gevolgen zie je overal.

15. Praktische werkwijzen, checklists en sjablonen

Een algemene werkwijze: bewust omgaan met tokens

Omschrijf de taak nauwkeurig.
Selecteer alleen materiaal dat relevant is voor de taak.
Verwijder overbodige herhaling.
Geef het model een rol en een doel.
Leg de gewenste antwoordvorm vast.
Controleer het aantal tokens.
Volg de kosten tijdens het gebruik.
Verbeter de prompt op basis van gegevens.

Checklist voordat je omvangrijk materiaal naar een model stuurt

Stel jezelf deze vragen:

Heeft het model het hele document nodig?
Zou een samenvatting volstaan?
Kan ik het materiaal opsplitsen?
Bevat het persoonsgegevens of bedrijfsgeheimen?
Gaat het om analyse, samenvatting, een beslisnotitie of ideeënvorming?
Hoe lang moet het antwoord werkelijk zijn?
Vergt het Finse materiaal onverwacht veel tokens?

Vragen voor het management

In welke processen verwerkt AI de meeste tekst?
Welke toepassingen veroorzaken de hoogste tokenkosten?
Hebben we richtlijnen voor welke gegevens naar het model mogen?
Meten we de AI-kosten per gebruiker, klant of taak?
Hebben we het gebruik in het Fins afzonderlijk getest?
Kunnen sommige taken met een goedkoper of kleiner model worden uitgevoerd?

Sjabloon voor beginners

Gebruik deze opzet voor je prompt:

Treed op als [rol].
Je taak is [doel].
Gebruik uitsluitend het onderstaande materiaal.
Richt je vooral op deze punten: [1–3 punten].
Geef niet alles weer.
Presenteer je antwoord als [lijst / notitie / tabel / samenvatting].
Gebruik maximaal [x] woorden.

Sjabloon voor gevorderden

Analyseer het materiaal in drie stappen:

1) Selecteer alleen de onderdelen die relevant zijn voor de taak.
2) Maak onderscheid tussen feiten, interpretaties en onzekerheden.
3) Sluit af met een voorstel voor een besluit.

Zeg het duidelijk als het materiaal onvoldoende basis biedt voor een conclusie. Vul ontbrekende informatie niet aan met giswerk.

Werkblad voor teams

Taak: Wat willen we dat AI doet?
Materiaal: Welke informatie heeft het nodig?
Afbakening: Welke informatie heeft het niet nodig?
Risico’s: Bevat het materiaal gevoelige informatie?
Tokens: Is het materiaal met een tokenhulpmiddel gecontroleerd?
Kwaliteit: Hoe bepalen we of het antwoord goed is?
Kosten: Wat kost één gebruik naar schatting?
Verbetering: Hoe kunnen we de prompt of het ophalen van informatie efficiënter maken?

Tokenisatie is geen saaie technische voetnoot bij AI. Het vormt het raakvlak tussen menselijk denken en machinaal rekenen.

Als je dat begrijpt, wordt AI minder mysterieus en veel bruikbaarder.

Tokenisatie: de onzichtbare taal van AI die bepaalt wat een model kan verwerken en wat dat kost