Multimodalitet – Innohub

1. Inledning: AI har fått nya sinnen

AI skriver inte längre bara svar på skärmen. Den tittar på bilder, lyssnar på ljud, tolkar video och kombinerar olika datakällor i ett och samma resonemang. Det är en stor förändring.

Tidigare påminde AI framför allt om en snabb textarbetare: den hjälpte till att sammanfatta, brainstorma, översätta och skriva. Nu börjar den mer likna en arbetskamrat som man kan visa ett kvitto, ett avtalsutkast, ett foto från produktionslinjen, en inspelning av ett kundtjänstsamtal eller en video av en säljpresentation.

Det är precis det multimodalitet betyder: AI:s förmåga att hantera flera olika ”former”, så kallade modaliteter, som text, bild, ljud och video.

OpenAI beskrev 2024 modellen GPT-4o som ett steg mot en mer naturlig interaktion mellan människa och dator: modellen kan ta emot text, ljud, bilder och video och generera text, ljud och bilder.^[1]

För företag är det här inte bara en teknisk uppdatering. Det förändrar vad som kan automatiseras, hur information söks fram och vilka produkter som kan byggas.

2. Vad betyder multimodalitet?

Multimodalitet innebär AI som förstår och hanterar flera olika dataformat. Enkelt uttryckt:

text: rapporter, mejl, avtal, chattar
bild: foton, diagram, kvitton, ritningar, användargränssnitt
ljud: tal, möten, intervjuer, kundtjänstsamtal
video: rörelse, händelseförlopp, presentationer, övervakningsmaterial, utbildningsvideor

En traditionell språkmodell var som en människa som bara kan lära sig om världen genom att läsa. En multimodal modell får dessutom förmågor som liknar att se och höra.

Det betyder inte att AI ”förstår” världen på samma sätt som en människa. Den känner inte, upplever inte och uppfattar inte biologiskt. Men den kan beräkningsmässigt känna igen samband mellan olika dataformat: vad som syns på en bild, vad som sägs i ett tal, hur ett diagram hänger ihop med siffrorna i en rapport och vad som händer i en video.

OpenAI:s utvecklardokumentation definierar multimodalitet som en modells förmåga att förstå och generera innehåll utifrån olika typer av indata, som text, bilder, ljud och video.^[2]

3. Varför är detta viktigt just nu?

Multimodalitet har blivit viktig eftersom en stor del av informationen i arbetslivet inte finns i prydlig textform.

Ledningsgruppens beslutsfattande vilar på bildpresentationer, ekonomiska siffror, samtal och stämning. Inom industrin syns informationen i bilder av maskiner, i mätare, sensorer och servicevideor. Inom vården lever informationen i patientjournaler, bilddiagnostik och samtal. Inom försäljning uppstår signalerna i sin tur i kundsamtal, offerter, beteende på nätet och presentationsmaterial.

Tidigare gick det långsamt att föra samman allt detta. En människa tittade på bilden, läste rapporten, lyssnade på mötet och gjorde en tolkning. Nu kan AI hjälpa till med det arbetet.

Stanford HAI:s AI Index-rapport för 2025 beskriver hur AI:s påverkan på samhället, ekonomin och den offentliga förvaltningen blir allt starkare.^[3] Multimodalitet är en av de mest synliga riktningarna i den här utvecklingen: AI håller sig inte längre i sin egen textruta, utan börjar beröra nästan allt digitalt arbete.

4. Den tekniska grunden på ett begripligt sätt

Bakom multimodal AI ligger idén om en gemensam representation. När modellen hanterar text, bild eller ljud omvandlar den dem till matematiska representationer. Dem kan man se som ett slags koordinater på en karta över betydelser.

Om en bild visar en hund, en text innehåller ordet ”hund” och en ljudfil innehåller ett skall lär sig modellen att de kan höra till samma fenomen.

Tre saker hjälper till här:

För det första har beräkningskraften ökat. Att träna stora modeller kräver enorma mängder beräkningar.

För det andra finns det mer data. På nätet finns text, bilder, video, ljud och dokument i aldrig tidigare skådade mängder.

För det tredje har användargränssnitten blivit bättre. Multimodalitet är inte till någon nytta om den bara kan användas i ett forskningslabb. Värdet uppstår när användaren kan lägga till en bild i samtalet, prata med modellen eller be AI att tolka ett dokument.

OpenAI:s GPT-4o System Card uppger att modellen har tränats end-to-end över text, syn och ljud, så att olika indata bearbetas av samma neurala nätverk.^[4]

5. Individens perspektiv: AI som tolk i vardagen

För individen gör multimodalitet AI mer konkret. Man behöver inte kunna formulera den perfekta textfrågan – man kan visa saken.

Praktiska exempel:

Ta en bild av ett kvitto och be AI att plocka ut summan, datumet och momsen.
Skicka en bild av ett diagram och be om en förklaring: ”Vad betyder det här på ren svenska?”
Visa en bild av ett blad från en växt och fråga vad som kan vara fel på den.
Ladda upp en mötesinspelning och be om besluten, de öppna frågorna och nästa uppgifter.
Visa en bild av garderoben och be om förslag på kläder till ett visst tillfälle.

I Elina Lappalainens artikel i HS beskrivs AI som en vardagshjälpreda som kan vara till nytta i till exempel hudvård, träning, matlagning och trädgårdsskötsel, men vars råd man också måste kunna ifrågasätta.

Det är en bra sammanfattning av multimodalitetens värdelöfte: den kan göra AI mer lättillgänglig även för människor som inte ser sig själva som teknikkunniga. Men där finns också en varning. När AI svarar självsäkert utifrån en bild kan den verka som en expert även när den gissar.

6. Företagens och organisationernas perspektiv

För företag öppnar multimodalitet ett helt nytt effektivitetslager. Den största nyttan kommer inte nödvändigtvis av att AI ”skriver bättre”. Den kommer av att AI kan hantera splittrad information.

I många organisationer är informationen utspridd:

i pdf-rapporter
i kundinspelningar
i Teams-möten
i CRM-system
i bilder från produktionen
i mejl
i supportärenden
i säljpresentationer
i utbildningsvideor

Multimodal AI kan hjälpa till att föra samman dem.

Ett kundtjänstföretag kan till exempel analysera samtalsinspelningar, chattkonversationer och bilder som bifogats reklamationer. Ett industriföretag kan kombinera servicebilder, sensordata och montörens skriftliga anteckningar. Ett konsultföretag kan sammanfatta en workshopvideo, läsa av foton på blädderblocket och omvandla dem till en projektplan.

Här är det ledarskapet som avgör. I ett samtal i Startup-ministeriö betonar Supercells Ilkka Paananen att beslut i en organisation bör fattas så nära produkten och slutkunden som möjligt. Samma tanke passar in på multimodal AI: de bästa användningsfallen uppstår inte i en sluten workshop på IT-avdelningen, utan där friktionen i vardagen faktiskt syns.

7. Möjligheter för startups

För en startup är multimodalitet särskilt intressant eftersom den möjliggör produkter som tidigare var svåra att bygga. En bra startup letar oftast efter ett smärtsamt problem som befintliga lösningar hanterar klumpigt. Multimodalitet vidgar problemfältet.

Möjliga startupidéer:

AI som analyserar bilder från byggarbetsplatser och upptäcker säkerhetsbrister
ett verktyg som automatiskt omvandlar säljsamtal till CRM-uppdateringar
en app som läser kvitton, avtal och fakturor för småföretagarens bokföring
en tjänst som automatiskt gör utbildningsvideor till studiematerial
en hjälpreda för vården som sammanför patientens beskrivning av symtomen, bilder och dokument så att läkaren kan granska dem

Här finns ändå en viktig skillnad: tekniken räcker inte ensam. En startup måste förstå arbetsflödet. Vem använder produkten? I vilken situation? Vilket beslut påverkas av AI:s svar? Vad händer om svaret är fel?

Multimodal AI kan vara den tekniska motorn. Affärsvärdet uppstår först när den paketeras som en tillförlitlig, lättanvänd och ansvarsfull produkt.

8. Praktiska tillämpningar

Ekonomiadministration

Kvitton, fakturor, avtal och betalningsuppgifter är multimodalitetens vardagsmat. AI kan plocka ut uppgifterna från ett kvitto, föreslå en kostnadskategori och upptäcka motsägelser: till exempel att en restaurangnota har bokförts som resekostnad fast datumet inte stämmer med reseräkningen.

Försäljning

Ett säljsamtal innehåller mycket mer än ord. Där finns frågor, tvekan, invändningar, köpsignaler och tysta stunder. Ett multimodalt system kan kombinera samtalet, presentationsmaterialet och CRM-datan. Det kan föreslå nästa meddelande, känna igen kundens oro och påminna om att löften ska hållas.

Marknadsföring

En kampanjs framgång handlar inte bara om text. Där finns bilder, video, ljud, varumärke och målgruppens reaktioner. AI kan analysera annonsbilder, jämföra dem med varumärkesriktlinjerna och föreslå versioner för olika kanaler.

Utbildning

En studerande kan visa en bild av uppgiften, förklara högt var det tar stopp och be om vägledning. En lärare kan göra en sammanfattning, ett uppgiftspaket och repetitionsfrågor av en föreläsningsinspelning.

Industri

Inom underhåll kan en medarbetare ta en bild av en trasig del och be AI att jämföra den med serviceinstruktionen. Det ersätter inte yrkespersonen. Men det kan snabba upp felsökningen och minska antalet fel.

Media och kommunikation

En journalist, kommunikatör eller analytiker kan mata in en intervjuinspelning, bilder, rapporter och bakgrundsmaterial i systemet. AI hjälper till att hitta det väsentliga, men människan gör den journalistiska, etiska och kontextuella bedömningen.

9. Exempel: kvitton, diagram, möten och video

Exempel 1: kvitto

Användaren skickar en bild av ett kvitto och ber:

Plocka ut datum, summa, moms och betalningssätt och föreslå en kostnadskategori. Säg också till om någon punkt är oklar.

En bra AI ger inte bara ett svar. Den redovisar osäkerheterna. Ett bättre svar vore:

Summan ser ut att vara 48,90 euro, men momsraden är svårläst eftersom bilden är oskarp. Kontrollera momsen innan du bokför kvittot.

Exempel 2: diagram

En chef laddar upp en bild av ett försäljningsdiagram. Frågan:

Vad i det här diagrammet är värt att lyfta fram för styrelsen?

AI kan upptäcka en trend, en avvikelse och en otydlig axelmärkning. Den kan också föreslå frågor: kommer tillväxten från nya kunder eller från prishöjningar?

Exempel 3: möte

Teamet laddar upp en ljudinspelning eller video från en workshop. AI tar fram:

beslut
öppna frågor
ansvariga personer
tidsplaner
risker
frågor där man var oense

Det kan spara tid. Men besluten ska inte godkännas blint, eftersom modellen kan tolka samtalet fel.

Exempel 4: video

En utbildningsvideo kan omvandlas till en textsammanfattning, studiefrågor, en processbeskrivning, introduktionsmaterial eller korta höjdpunkter som passar som klipp i sociala medier. Här möter multimodalitet innehållsproduktionen. Samma material kan användas till många olika syften.

10. Dåligt, bättre och utmärkt användningssätt

Dåligt exempel

Titta på den här bilden och berätta sanningen.

Det här är en dålig begäran, eftersom den ger modellen för mycket makt. Den anger inte vad som ska bedömas, med vilken noggrannhet eller vad svaret ska användas till.

Bättre exempel

Analysera det här diagrammet. Ange de tre viktigaste iakttagelserna, två möjliga tolkningar och en sak som bör kontrolleras i originaldatan.

Det här styr modellen att skilja mellan iakttagelser och tolkningar.

Utmärkt exempel

Du är analysassistent åt ekonomichefen. Titta på det här försäljningsdiagrammet och jämför det med månadsrapporten nedan. Skriv en sammanfattning på 150 ord till styrelsen. Skilj mellan fakta, antaganden och följdfrågor. Hitta inte på siffror som inte syns i bilden eller texten.

Det här är mycket bättre. Roll, uppgift, format, avgränsning och försiktighet finns med.

11. Risker och fallgropar

Multimodalitetens största risk är densamma som dess största styrka: den känns naturlig. När AI tittar på en bild och svarar övertygande tror användaren lätt att den såg saken på samma sätt som en människa. Det gjorde den inte. Det den gjorde var att modellera.

De viktigaste riskerna:

1. Hallucinationer

AI kan hitta på saker som inte finns i bilden, ljudet eller videon. Till exempel kan en felaktig identifiering av en växt, en produkt, en person eller ett dokument leda till dåliga beslut.

2. Överdrivet förtroende

Människor kan lägga ut sitt omdöme på modellen. Det är särskilt farligt i situationer där mycket står på spel, som hälsa, juridik, ekonomi, säkerhet och rekrytering.

3. Integritet

Bilder, ljud och video innehåller ofta personuppgifter. Ansikten, röster, platser, arbetsplatsens lokaler, dokument och kunduppgifter kan avslöjas obemärkt. I OpenAI:s rapport om integritet konstateras att personuppgifter i multimodala miljöer kan finnas i text, bilder, ljud och video, vilket gör det svårare att identifiera och skydda dem.^[5]

4. Upphovsrätt och användning av material

Hanteringen av bilder, video och ljud är förknippad med rättigheter. Får materialet användas? Får det matas in i en extern tjänst? Får man skapa nya versioner av det?

5. Partiskhet

Modeller kan fungera olika för olika grupper av människor, språk, accenter, bildvinklar och kulturella sammanhang.

6. Säkerhet

Multimodalitet kan också göra bedrägerier mer trovärdiga. Förfalskade röster, bilder och videor kan göra det svårare att bedöma vad man kan lita på. NIST:s AI Risk Management Framework ger organisationer ett ramverk för att hantera AI-risker ur individers, organisationers och samhällets perspektiv.^[6]

12. Etik, integritet och reglering

Multimodal AI berör människors vardag direkt. Därför är ansvarsfullhet inget påklistrat tillägg. Ett företag bör åtminstone fråga sig:

Vilken data matar vi in i modellen?
Innehåller den personuppgifter?
Har kunden eller medarbetaren gett sitt samtycke och informerats om behandlingen?
Vilka beslut påverkas av AI:s resultat?
Vem kontrollerar de kritiska svaren?
Hur dokumenteras felen?
Kan användaren bestrida eller korrigera AI:s slutsats?

EU:s AI-förordning är det första heltäckande rättsliga ramverket för AI, och syftet är att hantera AI:s risker och positionera Europa i AI-utvecklingen.^[7]

I EU har skyldigheterna för AI-modeller för allmänna ändamål börjat tillämpas stegvis, och kommissionen publicerade 2025 en uppförandekod för AI-modeller för allmänna ändamål som stöd för efterlevnaden av AI-förordningen.^[8]

Det här är ett viktigt budskap för företag: AI-försök kan inte längre bara vara entusiastiskt testande. Det behövs spelregler.

13. Vad säger detta om den större förändringen?

Multimodalitet vittnar om en stor kursändring i arbetslivet. Förr betydde digitalisering ofta att papper gjordes om till pdf och att processen flyttades in i ett system. Nu börjar AI också tolka den röriga, ofullständiga och mångformiga information som arbetet faktiskt består av.

Det kan förändra expertarbetet på tre sätt.

För det första sänks tröskeln för analys. Man behöver inte först omvandla allt till text eller tabeller.

För det andra blir dokumentationen mer automatiserad. Möten, bilder och processer kan omvandlas till strukturerad information.

För det tredje blir interaktionen mer naturlig. Man kan prata med AI, visa och fråga.

Men förändringen tar inte bort människan. Den förändrar människans roll. Framtidens expert är inte den som kan flest fakta utantill. Det är den som kan ställa bra frågor, bedöma svar, känna igen osäkerheter och koppla AI:s analys till den verkliga situationen.

14. Framtiden: hype och realistisk utveckling

Det finns mycket hype kring multimodalitet. En del av den är befogad, en del inte. Realistiskt sett är följande utvecklingsriktningar sannolika.

1. AI blir användargränssnittet

Många program får ett samtals-, bild- och röstgränssnitt. Användaren klickar inte längre på allt själv, utan ber systemet att göra det.

2. Dokumenten blir levande

En rapport är inte längre bara en pdf. Den kan innehålla text, diagram, källdata, förklarande ljud och möjlighet att ställa frågor med hjälp av AI.

3. Mötenas värde mäts bättre

AI kan känna igen vad som beslutades, vad som lämnades öppet och vem som lovade att göra vad. Det kan minska det tysta slöseriet i organisationer.

4. Videoanalys blir vanligare

Utbildning, säkerhet, underhåll, idrott, media och kundupplevelse har nytta av att video kan tolkas.

5. Förtroende blir den viktigaste konkurrensfördelen

När AI kan hantera allt känsligare material väljer användarna lösningar som de kan lita på.

Vad försvinner inte? Det mänskliga omdömet försvinner inte. Ansvaret försvinner inte. Sammanhanget försvinner inte. Och kanske viktigast av allt: behovet av att förstå kunden försvinner inte. AI kan titta på en bild, men den vet inte automatiskt vad som är väsentligt i affärsverksamheten.

15. Slutsatser

Multimodalitet gör AI mer praktisk. Den för AI närmare det verkliga arbetet: kvitton, bilder, samtal, videor, rapporter, kundsituationer och beslut.

Löftet är stort: mindre manuell tolkning, snabbare analys, bättre dokumentation och en mer naturlig interaktion med tekniken. Men just därför måste man vara noggrann. Multimodal AI är inget magiskt öga. Det är ett kraftfullt verktyg för analys och tolkning som kan ha fel på ett övertygande sätt.

Det bästa sättet att använda den är inte att fråga: ”Kan AI göra det här åt mig?”

En bättre fråga är: ”Hur kan AI hjälpa mig att se, höra och förstå den här situationen bättre – men så att ansvaret stannar på rätt ställe?”

Där ligger kärnan i multimodalitet. Den gör inte människan överflödig. Den kan göra människan noggrannare, snabbare och bättre informerad.

16. Praktiska modeller och arbetsmallar

Allmän arbetsmodell

Välj ett konkret användningsfall.
Bestäm vilken data som används: text, bild, ljud, video.
Bestäm vad AI ska ta fram.
Bestäm vem som kontrollerar resultatet.
Testa med ett litet material.
Dokumentera fel och osäkerheter.
Besluta om användningen kan utvidgas.

Checklista innan du skickar en bild till AI

Innehåller bilden personuppgifter?
Syns en kund, en medarbetare eller konfidentiell information i den?
Är det tillåtet att använda bilden?
Vilket beslut påverkas av analysen?
Behövs en expertgranskning?
Är bilden tillräckligt skarp?
Ber jag AI att redovisa osäkerheterna?

En bra prompt för bildanalys

Analysera den här bilden. Berätta först vad du med säkerhet ser. Berätta sedan vilka tolkningar som är möjliga. Skilj mellan fakta och bedömningar. Hitta inte på uppgifter som saknas. Nämn till sist vad jag själv bör kontrollera.

En bra prompt för kvitton

Plocka ut datum, summa, moms, betalningssätt, säljare och eventuell kostnadskategori från det här kvittot. Om någon punkt är oklar, markera den som osäker och gissa inte.

En bra prompt för mötesinspelningar

Gör en sammanfattning av det här mötet. Skilj mellan beslut, öppna frågor, överenskomna uppgifter, ansvariga personer och tidsfrister. Lyft till sist fram tre saker som kan orsaka missförstånd.

Modell för beslutsfattande

Använd AI:s svar i beslutsfattandet bara om följande villkor uppfylls:

källmaterialet håller tillräckligt hög kvalitet
AI:s osäkerheter har identifierats
de kritiska punkterna har kontrollerats
en människa fattar det slutliga beslutet
beslutets konsekvenser är förstådda

Modell för nybörjare

Börja med vardagliga uppgifter med låg risk: att förklara ett diagram, plocka ut uppgifter från ett kvitto, föreslå förbättringar av en presentationsbild, beskriva innehållet i en bild eller skissa på ett mötesprotokoll.

Modell för avancerade användare

Bygg ett arbetsflöde:

Samla in materialet: bild, text, ljud eller video.
Be AI om en första analys.
Be den lista osäkerheterna.
Jämför resultatet med originalmaterialet.
Gör korrigeringar.
Spara lärdomarna till nästa gång.

Arbetsmall för teamet

Fråga er tillsammans:

I vilka delar av vårt arbete tittar vi på, lyssnar på eller tolkar samma sak gång på gång?
Var är fel dyra?
Var skulle AI kunna snabba upp förberedelserna medan en människa fattar beslutet?
Vilken data får vi aldrig mata in i en extern AI-tjänst?
Vad skulle vara ett första säkert pilotprojekt?

Multimodalitet är inte bara en ny AI-funktion. Det är ett steg mot en värld där tekniken förstår vårt arbete närmare dess verkliga form.

Inte bara som text. Utan som bilder, ljud, rörelse, samtal och situationer.