Tokenisering: AI’s usynlige sprog sætter grænserne for forståelse og omkostninger

1. Indledning: hvorfor AI ikke »læser« som et menneske

Når et menneske læser sætningen »En finsk iværksætter bygger en international vækstvirksomhed«, ser vedkommende ordene og betydningen og forestiller sig måske situationen: stifteren, teamet, finansieringsrunden, usikkerheden og ambitionerne.

AI ser noget helt andet. Den begynder ikke med ord, men deler teksten op i mindre dele: tokens. En token kan være et helt ord, en del af et ord, et tegnsætningstegn eller en tegnfølge, der ikke umiddelbart giver mening for et menneske.

OpenAI forklarer, at sprogmodeller behandler tekst som tokens. Antallet af tokens har betydning for både, om modellen kan rumme teksten, og hvad et API-kald koster.^[1]

Det lyder som en teknisk detalje. Men det rækker langt videre.

Tokenisering er en af de usynlige mekanismer, der forklarer, hvorfor AI nogle gange glemmer begyndelsen af en samtale, hvorfor en lang kontrakt ikke kan være der, hvorfor finsk tekst overraskende hurtigt optager plads, og hvorfor brugen af AI koster mere, end regnearket først antyder.

Bruger virksomheden AI til kundeservice, jura, salg, programmering, markedsføring eller analyse af intern viden, er tokens ikke kun noget for teknikere. De er en ressource på linje med tid, penge og serverkapacitet.

2. Hvad betyder tokenisering?

Tokenisering betyder, at tekst deles op i mindre enheder, som en sprogmodel kan behandle. Kort fortalt:

• mennesket ser ord i teksten
• computeren ser tegn
• sprogmodellen behandler tekst som tokens

En token er ikke det samme som et ord.

For eksempel kan det engelske ord running i nogle tokeniseringsværktøjer være én token, mens sjældnere eller længere ord kan deles op. I OpenAI’s tiktoken-eksempel opdeles en tegnfølge eksempelvis i "t", "ik", "token", " is", " great" og "!".^[1]

Et puslespil er et godt billede. For mennesket er ordet et færdigt motiv. For AI er teksten en æske med små brikker, og sandsynligheder afgør, hvilken brik der kommer som den næste. Den »forstår« altså ikke teksten på samme måde som et menneske, men behandler tegnfølgers struktur og indbyrdes relationer.

Det gør ikke AI ubrugelig. Tværtimod. Netop denne mekanisme gør det muligt at behandle mange sprog, fagudtryk, kode og nye ord uden at skulle lære modellen hvert eneste ord særskilt. Men den medfører også begrænsninger.

3. Hvorfor er tokens særligt vigtige nu?

Tokens er vigtige af tre grunde: kapacitet, omkostninger og kvalitet.

Den første er kapacitet. Alle sprogmodeller har et kontekstvindue: det antal tokens, de kan tage højde for i én samtale eller opgave. Dokumentationen til Claude beskriver kontekstvinduet som den plads, hvor tidligere beskeder, brugerens instruktioner og modellens svar samles.^[2]

Den anden er omkostninger. Mange AI-tjenester prissættes efter antallet af tokens med særskilte priser for input og svar. OpenAI’s prisside angiver prisen pr. million tokens for hver model, og vejledningen understreger, at tokenforbruget fremgår af brugsmetadata og indgår i faktureringen.^[3]

Den tredje er kvalitet. Jo mere tekst modellen får, desto mere skal den skelne væsentligt fra uvæsentligt. En lang kontekst giver ikke automatisk et bedre svar. Den betyder blot, at modellen har mere materiale at behandle.

Det er interessant fra et ledelsesperspektiv. I virksomheder tales der ofte om AI som en tryllekasse: »Vi lægger alle dokumenterne ind og spørger.« Et bedre spørgsmål er: Hvilke oplysninger har modellen brug for i netop denne opgave?

4. Tokens, kontekstvindue og hukommelse

Kontekstvinduet er AI’s skrivebord. Et lille bord har kun plads til en huskeseddel, en kop kaffe og en kontrakt. På et meget stort bord kan man brede referater, kundedata, kode, rapporter og strategier ud. Men selv ved et stort bord kan mennesker miste overblikket over papirerne. Det samme gælder AI.

De nuværende modeller er hurtigt blevet bedre til at behandle lange kontekster. Google forklarer, at Gemini-modeller behandler tekst som tokens. Som en grov tommelfingerregel svarer én token til cirka fire tegn og 100 tokens til omkring 60–80 engelske ord.^[4] Google har også fremhævet Gemini Pro’s mulighed for at behandle op til en million tokens i en lang kontekst, eksempelvis store samlinger af dokumenter eller kode.^[5]

Anthropic beskriver optælling af tokens som en måde at styre omkostninger, grænser og valg af model på – altså hvilken model en opgave bedst sendes til.^[6]

Det afgørende er: kontekst er ikke det samme som varig hukommelse.

Konteksten er det, modellen kan se lige nu. Hukommelse er et system, der kan bevare oplysninger på tværs af samtaler. Mange brugere blander de to ting sammen og bliver skuffede: »Hvorfor huskede AI ikke det?« Ofte er svaret, at oplysningen ikke længere indgik i konteksten, eller at tjenesten ikke gemmer den i hukommelsen.

5. Finsk som prøveklud for tokenisering

Finsk er en interessant udfordring for tokenisering. På engelsk er mange ord korte og står hver for sig. På finsk samles betydning i lange bøjningsformer og sammensatte ord.

Se på dette finske ord:

kasvuyritysrahoituskierroksellaan

Et menneske genkender delene: vækst, virksomhed, finansiering, runde samt bøjningsendelser. Et tokeniseringsværktøj kan dog dele ordet op i mange flere dele. Derfor kan finsk tekst optage plads i kontekstvinduet hurtigere, end brugeren forventer.

Et praktisk pejlemærke er, at et finsk ord ofte kan fylde 2–3 tokens og nogle gange mere. Det er ingen naturlov; det afhænger af modellen og tokeniseringsværktøjet. Mål derfor altid det præcise antal med den valgte models eget værktøj. OpenAI tilbyder et tokeniseringsværktøj, som viser, hvordan teksten opdeles, og hvor mange tokens det giver.^[7]

Hvorfor er det vigtigt? I en finsksproget organisation kan lange dokumenter, myndighedstekster, kontrakter, undersøgelser og strategier hurtigt kræve mange tokens. Det samme materiale på 20 sider er ikke lige »let« for modellen på alle sprog.

Det betyder ikke, at man skal undgå finsk. Det betyder, at man skal kende sprogets betydning for tokenforbruget.

6. Hvordan påvirker tokenisering omkostningerne?

Udgifterne til AI afhænger ikke kun af antallet af brugere. De afhænger også af, hvor mange tokens tjenesten behandler.

En enkel formel:

samlede omkostninger = inputtokens + outputtokens + eventuelle interne ræsonnementstokens + antallet af gentagne kald

OpenAI oplyser, at avancerede modeller også kan bruge interne reasoning tokens – ræsonnementstokens, som modellen bruger, før den formulerer sit endelige svar. De kan fremgå af brugsmetadata og indgå i faktureringen.^[8]

Det har stor betydning for virksomheden.

Forestil dig en kundeservicebot, der til hvert svar får:

• en lang beskrivelse af virksomhedens tjenester
• hele kundehistorikken
• interne vejledninger
• returbetingelserne
• den forrige samtale
• brugerens nye spørgsmål

Sker det tusindvis af gange om dagen, bliver selv små mængder overflødig tekst til udgifter i euro.

Her bliver tokenisering til et forretningsspørgsmål frem for blot en teknisk detalje. Et veldesignet AI-system sender ikke alt tænkeligt til modellen. Det sender det, der er relevant for opgaven.

7. Hvad betyder det for iværksættere og ledere?

For iværksætteren kræver tokenisering først og fremmest en ny måde at tænke på.

Ledelse af AI handler om mere end at spørge: »Hvad kan vi automatisere?« Et bedre spørgsmål er: »Hvilke oplysninger har modellen brug for for at løse opgaven, og hvilke kan den undvære?«

Det minder om god ledelse. En god leder drukner ikke teamet i baggrundsmateriale, men giver det et mål, den nødvendige sammenhæng, klare rammer for beslutninger og de rigtige kilder. Det samme gælder AI.

I virksomheden mærkes tokenforbruget mindst fire steder:

1. I omkostningerne. Lange prompts og omfattende dokumenter koster mere.
2. I hastigheden. En lang kontekst kan gøre svaret langsommere.
3. I kvaliteten. For mange baggrundsoplysninger kan få modellen til at miste fokus.
4. I informationssikkerheden. Jo flere oplysninger der sendes, desto grundigere skal man overveje, hvad der må deles.

Når AI indføres, er det altså ikke nok at vælge »den bedste model«. Man skal planlægge, hvordan oplysningerne bevæger sig gennem systemet.

8. Set fra startups og vækstvirksomheder

Tokenisering er særlig vigtig for startups, fordi hver udgift og hvert produktvalg hurtigt kan mærkes i en lille virksomhed.

Bygger du en SaaS-tjeneste, altså cloudbaseret software, som kunderne abonnerer på, kan tokens indgå i økonomien pr. kunde. Det handler om, hvad det koster at betjene én kunde, og hvor stort et dækningsbidrag kunden giver.

Det er let at glemme i MVP-fasen. En MVP er den første fungerende produktversion, som bruges til at undersøge, om kunderne faktisk vil bruge løsningen.

I begyndelsen kan det virke fornuftigt at sende alt til modellen:

• hele brugerprofilen
• alle dokumenter
• en lang systeminstruktion
• hele samtalehistorikken
• et fuldstændigt databaseudtræk

Det fungerer i demonstrationen. Men med 10.000 brugere begynder tokenregningen at kunne mærkes.

En vækstvirksomhed bør tidligt stille disse spørgsmål:

• Kan vi forkorte konteksten?
• Kan vi nøjes med at hente relevante dokumentuddrag?
• Kan vi bruge en billigere model til enkle opgaver?
• Kan vi cachelagre input, der bruges igen og igen?
• Kan vi begrænse svarenes længde?

Tokens er en del af produktets usynlige infrastruktur. De fremgår ikke af brugerfladen, men kan afgøre, om en tjeneste er lønsom.

9. Praktiske eksempler: en dårlig, en bedre og en fremragende prompt

Dårligt eksempel

Her er 80 siders materiale. Lav et godt resumé.

Det kan fungere, hvis modellen kan rumme materialet. Men det er dyrt og upræcist, og væsentlige pointer risikerer at drukne.

Bedre eksempel

Læs dette materiale på 80 sider. Lav et resumé med fokus på kunderisici, økonomiske konsekvenser og beslutninger, der er vigtige for ledelsen. Gengiv ikke det hele.

Her får AI et klart fokus. Den ved, hvad den skal lede efter.

Fremragende eksempel

Du er driftsrådgiver for en vækstvirksomhed. Analysér kun materialet nedenfor ud fra disse spørgsmål:

1) Hvilke forhold påvirker pengestrømmen de næste 6 måneder?
2) Hvilke risici kræver en beslutning fra ledelsen?
3) Hvad er udelukkende baggrundsoplysninger?

Afslut med et beslutningsoplæg på én side.

Det er bedre, fordi det sparer tokens og giver modellen retning. Den bliver ikke bedt om alt, men om det væsentlige.

10. Risici og misforståelser

Der er mange misforståelser om tokenisering.

Den første er forestillingen om, at en større kontekst løser alt. Det gør den ikke. En lang kontekst hjælper, men oplysningerne skal stadig udvælges, afgrænses og struktureres.

Den anden er antagelsen om, at tokens svarer til ord. Det gør de ikke. Det er særlig vigtigt på finsk, hvor lange ord og bøjningsformer kan blive delt op i mange tokens.

Den tredje er troen på, at modellen husker hele samtalen. I virkeligheden fyldes konteksten løbende, og når grænsen nås, må systemet forkorte, slette eller på anden måde håndtere tidligere oplysninger. Anthropic beskriver, hvordan konteksten vokser under samtalen, når tidligere beskeder og svar bevares i kontekstvinduet.^[2]

Den fjerde risiko vedrører informationssikkerhed. Når en organisation forsøger at »forbedre« AI’s svar ved at tilføje alle tænkelige baggrundsoplysninger, kan den samtidig skabe unødig behandling af personoplysninger, forretningshemmeligheder eller kontraktoplysninger.

Ansvarlig brug af AI handler ikke kun om gode svar. Det handler også om kun at give modellen de oplysninger, den faktisk har brug for.

11. Etik og ansvar

Tokenisering lyder som en neutral teknologi. Men virkningerne er ikke neutrale.

Hvis et sprog i gennemsnit deles op i flere tokens end et andet, kan det være dyrere eller mindre effektivt at behandle. Det kan påvirke, hvilke sprog AI-tjenester udvikles, testes og optimeres til.

Det er vigtigt for mindre sprogområder som det finske. Bygger en virksomhed sin AI-tjeneste alene ud fra engelske data og omkostninger, kan brugen på finsk overraske. Det skyldes ikke, at finsk er et problem, men at systemet er utilstrækkeligt gennemtænkt.

En ansvarlig organisation undersøger:

• hvordan modellen fungerer på finsk
• hvordan antallet af tokens varierer mellem sprog
• hvordan omkostningerne ændrer sig
• hvordan kvaliteten fastholdes
• hvordan brugeren informeres om begrænsningerne

Lige adgang til AI skabes ikke med festtaler. Den afhænger også af hverdagens tekniske valg som disse.

12. Tokenisering som del af den større AI-omstilling

Tokenisering fortæller noget væsentligt om den forandring, AI fører med sig.

Vi har en tendens til at menneskeliggøre AI. Vi siger, at den læser, forstår, overvejer og husker. Ordene er nyttige i daglig tale, men kan sløre, hvad der faktisk foregår.

AI er ikke et menneske, der sidder ved et bord og læser en rapport. Det er et system, der behandler tokens, beregner sandsynligheder og producerer nye tokens ud fra den foregående kontekst. Alligevel kan resultatet virke intelligent.

Her ligger en fascinerende modsætning ved AI: mekanismen er matematisk, men oplevelsen er social. Brugeren oplever en samtale. Modellen behandler tokens.

For virksomheder betyder det, at AI skal ledes på to niveauer:

• menneskers oplevelse
• det tekniske system

En god AI-strategi tager højde for begge dele.

13. Fremtiden: hvor er tokenisering på vej hen?

Tokenisering forsvinder ikke i de kommende år. Men dens betydning kan ændre sig.

1. Kontekstvinduerne vokser

En kontekst på en million tokens er ikke længere en fremtidsvision, men en del af konkurrencen mellem de store modeller. Både Google og Anthropic har fremhævet mulighederne ved lange kontekster.^[5] Men et større vindue fjerner ikke behovet for god informationsstyring.

2. Optælling af tokens bliver automatiseret

Stadig flere systemer tæller tokens i baggrunden og sender opgaven til en passende model. Anthropic nævner blandt fordelene omkostningsstyring, mulighed for at forudse begrænsninger og valg af model.^[6]

3. Konteksten sammenfattes bedre

I lange samtaler bliver systemerne bedre til at sammenfatte tidligere oplysninger. Det er ikke det samme som en perfekt hukommelse, men kan give en mere sammenhængende brugeroplevelse.

4. Flere sprog understøttes bedre

Tokeniseringsværktøjer og modeller bliver sandsynligvis også bedre til sprog som finsk. Men mindre sprog kræver stadig målrettet afprøvning.

5. Hype afløses af praktisk kunnen

I begyndelsen spurgte mange: »Hvad kan AI egentlig gøre?« Næste skridt er mere konkret: »Hvordan gør vi det med høj kvalitet, sikkert og lønsomt?« Tokens spiller en central rolle i den diskussion.

14. Konklusioner

Tokenisering er en grundlæggende del af den måde, AI fungerer på i hverdagen.

Den forklarer, hvorfor AI ikke behandler tekst som et menneske, hvorfor lange dokumenter koster penge, og hvorfor finsk tekst hurtigt kan optage plads i kontekstvinduet. Den forklarer også, hvorfor en god prompt er mere end et velformuleret spørgsmål: den er en instruktion, som bruger ressourcerne fornuftigt.

Den vigtigste lære er:

Effektiv brug af AI handler ikke om at give modellen flest mulige oplysninger. Det handler om at give den de rigtige oplysninger i den rigtige form.

For iværksætteren er det en konkurrencefordel. For lederen handler det om omkostninger og kvalitet. For fagpersonen er det en ny grundkompetence. For den studerende er det en nøgle til at forstå, hvorfor AI’s svar nogle gange lykkes og andre gange falder fra hinanden.

Tokenisering er usynlig, men dens virkninger ses overalt.

15. Praktiske modeller, tjeklister og arbejdsskabeloner

En praktisk tilgang: brug AI med omtanke for tokenforbruget

1. Beskriv opgaven præcist.
2. Vælg kun materiale, der er relevant for opgaven.
3. Fjern unødige gentagelser.
4. Giv modellen en rolle og et mål.
5. Fastlæg svarformatet.
6. Undersøg antallet af tokens.
7. Følg omkostningerne under brug.
8. Forbedr prompten ud fra de indsamlede data.

Tjekliste, før du sender omfattende materiale til modellen

Spørg:

• Har modellen brug for hele dokumentet?
• Ville et resumé være nok?
• Kan jeg dele materialet op?
• Indeholder materialet personoplysninger eller forretningshemmeligheder?
• Er opgaven en analyse, et resumé, et beslutningsoplæg eller idéudvikling?
• Hvor langt et svar er der faktisk brug for?
• Kræver det finsksprogede materiale overraskende mange tokens?

Spørgsmål til ledelsen

• I hvilke processer behandler AI mest tekst?
• Hvilke anvendelser medfører de største tokenomkostninger?
• Har vi retningslinjer for, hvilke data modellen må få?
• Måler vi udgifterne til AI pr. bruger, kunde eller opgave?
• Er brugen på finsk blevet testet særskilt?
• Kan nogle opgaver løses med en billigere eller mindre model?

Skabelon til begynderen

Brug denne promptskabelon:

Agér som [rolle].
Din opgave er [mål].
Brug kun materialet nedenfor.
Fokusér især på: [1–3 punkter].
Gengiv ikke det hele.
Skriv svaret som [liste / notat / tabel / resumé].
Skriv højst [x] ord.

Skabelon til den erfarne bruger

Analysér materialet i tre trin:

1) Udvælg kun det, der er relevant for opgaven.
2) Skeln mellem fakta, fortolkninger og usikkerheder.
3) Afslut med et forslag til beslutning.

Sig tydeligt til, hvis materialet ikke giver grundlag for en konklusion. Udfyld ikke hullerne med gæt.

Arbejdsskabelon til teamet

• Opgave: Hvad vil vi have AI til at gøre?
• Materiale: Hvilke oplysninger har den brug for?
• Afgrænsning: Hvilke oplysninger kan den undvære?
• Risici: Indeholder materialet følsomme oplysninger?
• Tokens: Er materialet undersøgt med et tokeniseringsværktøj?
• Kvalitet: Hvordan vurderer vi, om svaret er godt?
• Omkostninger: Hvad koster én anvendelse skønsmæssigt?
• Forbedring: Hvordan kan vi gøre prompten eller søgningen efter materiale mindre ressourcekrævende?

Tokenisering er ikke en kedelig teknisk fodnote til AI. Den er forbindelsen mellem menneskets tænkning og computerens beregninger.

Når man forstår det, bliver AI mindre mystisk – og langt mere anvendelig.

Kilder

1. How to count tokens with Tiktoken — OpenAI Cookbook
2. Context windows — Claude API Docs
3. Pricing — OpenAI API
4. Understand and count tokens — Gemini API, Google AI for Developers
5. Gemini in Pro and long context — Google
6. Token counting — Claude API Docs
7. Tokenizer — OpenAI API
8. What are tokens and how to count them? — OpenAI Help Center