AI-agenter: Byg en arbejdsgang, du kan stole på

Modellen får opmærksomheden. Men adgang, kontrol og klare succeskriterier afgør, om den hjælper din virksomhed.

Hvis en AI-agent finder den rigtige pris, men sender tilbuddet til den forkerte kunde, hjælper et velformuleret svar ikke meget. AI-agenter skal kunne gennemføre en opgave under de betingelser, virksomheden faktisk arbejder med. Derfor bør den første beslutning handle om arbejdsgangen: Hvilke oplysninger må agenten bruge, hvad må den gøre, og hvornår skal et menneske tage over?

Y Combinators diskussion om styringslaget omkring AI-modeller peger på en vigtig sammenhæng: Modellens præstation afhænger også af systemet omkring den. For en mindre virksomhed åbner det et mere håndgribeligt spørgsmål end jagten på den bedste model. Hvor skal arbejdet organiseres bedre, før en agent kan overtage en del af det?

Det er hele opgaven, der skal lykkes

Styringslaget er den software, som giver modellen adgang til oplysninger og værktøjer og bestemmer, hvordan arbejdet kan forløbe. Det kan eksempelvis hente en kundeaftale, gemme et mellemresultat og sende et udkast til godkendelse. Modellen er dermed én del af et system, som også skal håndtere fejl og manglende oplysninger.

Forestil dig en agent, der skal udarbejde tilbud for en mindre rådgivningsvirksomhed. Den skal kende den aktuelle prisliste, kundens aftale og grænsen for, hvilke rabatter den må foreslå. Mangler aftalen, bør den bede om hjælp. Ellers risikerer et pænt tilbud at skjule et forkert grundlag.

Start derfor med at udpege det kundeproblem, der koster mest at lade stå uløst. Er det ventetiden på et tilbud, gentagne spørgsmål eller fejl i overleveringen? Svaret afgør, hvilken arbejdsgang der er værd at forbedre, og hvilke oplysninger agenten behøver.

Giv agenten et afgrænset mandat

Et nyttigt første mandat kunne være: Find den relevante aftale, udarbejd et tilbudsudkast, og markér de oplysninger, der mangler. Medarbejderen godkender derefter pris og modtager. Opgaven er afgrænset nok til, at virksomheden kan vurdere resultatet uden først at automatisere hele salgsarbejdet.

Beskriv også undtagelserne. Agenten skal eksempelvis stoppe, hvis to dokumenter indeholder forskellige priser, eller hvis kundens ønske falder uden for de aftalte ydelser. Et snævert mandat gør det muligt at finde fejl, før de bliver til kundens problem.

Adgang og mandat bør følges ad. Hvis opgaven er at skrive et udkast, kan systemet indrettes, så agenten kan læse de nødvendige oplysninger, men ikke sende tilbuddet. En sådan grænse bør ligge i værktøjets tilladelser, så den ikke afhænger af, om modellen følger en skriftlig instruktion hver gang.

Y Combinator fremhæver også agenters manglende forståelse af social kontekst. Det er relevant, når en kunde formelt har accepteret et tilbud, men samtidig har udtrykt tvivl i en samtale. Sådanne situationer bør udløse menneskelig vurdering, indtil virksomheden har en pålidelig måde at håndtere dem på.

Mål prisen på et resultat, du kan bruge

Mål, hvor meget arbejde der er tilbage, når agenten er færdig. Et hurtigt udkast er mindre værd, hvis en medarbejder skal kontrollere alle oplysninger fra bunden. Registrér derfor både den sparede tid og tiden til rettelser, kontrol og opfølgning.

Brug et fast udvalg af opgaver, som ligner virksomhedens hverdag. Tag både almindelige henvendelser og besværlige tilfælde med: manglende bilag, uklare ønsker og modstridende oplysninger. Aftal på forhånd, hvad et brugbart resultat kræver, så vurderingen ikke skifter med begejstringen for en overbevisende formulering.

Det samme måleproblem opstår i indholdsmarkedsføring, hvor rækkevidde skal forbindes med et forretningsmål. Antallet af producerede tekster fortæller ikke alene, om indsatsen virker. For en tilbudsagent er det tilsvarende mere interessant, om tilbuddene bliver korrekte og hurtigere klar, end hvor mange ord den skriver.

Vælg modellen, når opgaven er tydelig

Når opgaven og kvalitetskravene er beskrevet, bliver det lettere at sammenligne modeller. Prøv dem med de samme oplysninger, værktøjer og succeskriterier. Hvis alt omkring modellen ændres samtidig, bliver det svært at se, hvad der faktisk forbedrede resultatet.

Arbejdet med OpenJarvis og personlig AI på egne enheder gør også valget mellem lokal drift og eksterne tjenester relevant. For din virksomhed bør valget afhænge af opgaven, udstyret og den nødvendige vedligeholdelse. Lokal drift bør vurderes på sin samlede pris og kvalitet; placeringen alene dokumenterer ingen af delene.

Her hænger spørgsmålet sammen med pris, kvalitet og fleksibilitet i AI-infrastrukturen. Medregn opsætning, drift og medarbejdernes kontrolarbejde. En lav pris for selve modelkørslen kan være uinteressant, hvis løsningen kræver meget efterbehandling.

Y Combinators arbejde med budgetter knyttet til agentens mål giver desuden en konkret idé til styringen. Sæt et loft for, hvor længe og hvor dyrt agenten må forsøge at løse opgaven. Når loftet nås, skal den aflevere sit foreløbige resultat og forklare, hvad der mangler.

Det vigtigste at tage med

AI-agenter bliver lettere at vurdere, når de får en tydelig opgave og en tydelig grænse. For en dansk iværksætter med begrænset tid til forsøg er en enkelt, velvalgt arbejdsgang et fornuftigt sted at begynde. Gør forsøget konkret:

1. Vælg én tilbagevendende opgave. Beskriv dens input, det ønskede resultat og de situationer, hvor agenten skal bede om hjælp.
2. Begræns adgangen. Giv agenten de oplysninger og handlinger, opgaven kræver, og placér godkendelsen dér, hvor fejl får konsekvenser.
3. Mål hele indsatsen. Sammenlign kvalitet, samlet tidsforbrug og udgifter med den nuværende måde at løse opgaven på.
4. Udvid efter dokumenterede resultater. Giv først agenten flere opgaver, når de eksisterende fungerer stabilt, også under mindre ideelle forhold.

Den næste forbedring kan være en bedre model. Den kan også være en opdateret prisliste, en klar stopregel eller en nemmere godkendelse. Undersøg, hvor opgaven går i stå, og lad den viden styre investeringen.

Video: Y Combinators samtale om styringslaget omkring AI-agenter. Samtalen foregår på engelsk.

Mål, hvor meget arbejde der er tilbage, når agenten er færdig.

Et snævert mandat gør det muligt at finde fejl, før de bliver til kundens problem.

▶

Se det oprindelige afsnit på YouTube: Y Combinator.

Kilder

• Y Combinator: Hvorfor styringslaget omkring modellen betyder mere end selve modellen — Henvisningerne bygger på kanalens beskrivelse og kapiteloversigt, ikke en fuld transskription. Relevante tidsmærker: 00:00 om styringslagets betydning, 37:30 om OpenJarvis og lokal AI, 57:16 om budgetter knyttet til mål og 58:50 om social kontekst. Virksomhedseksemplerne er tænkte anvendelser.