Vil at KI i større grad skal forklare sine «intensjoner»

Blant 6700 bidrag på den prestisjetunge KI‑konferansen ACM CHI 2026 i Barcelona, ble UiB-student Evgenia Taranova nylig løftet frem med hederlig omtale for en ny studie om samspillet mellom mennesker og kunstig intelligens.

Sammen med ph.d.-stipendiat Bhada Yun ved ETH Zürich argumenterer hun for at det er behov for mer åpenhet om kunstig intelligens sine «intensjoner» i samhandlingen med mennesker. Intensjoner i denne sammenhengen dreier seg om hvilke designvalg, strategier og mål som ligger i modellenes programmering.

– En av våre hovedkonklusjoner er at hvis vi skal bevare kontrollen i interaksjoner med KI i fremtiden, må vi først forstå om og hvordan maskinene, eller rettere sagt de som utvikler maskinene, prøver å påvirke oss, sier Taranova.

Hun er fjerdeårs medisinstudent ved UiB og i det daglige tilknyttet to forskningsprosjekter innen lungekreft. KI-studien hun presenterte i Barcelona er slik utenfor det medisinske fagområdet ved UiB, men innenfor en tverrfaglig bakgrunn og interessefelt hun vil videreføre i årene som kommer.

Interaksjon mellom KI og mennesker

I studien undersøker Taranova og Yun hvem som egentlig styrer samtalen og setter premissene i interaksjoner mellom mennesker og kunstig intelligens. De bygget KI-chatboten «Day», og fulgte 22 deltakere som snakket med språkmodellen i én måned. Dette ble fulgt opp med intervjuer av deltakerne, hvor språkmodellens programmerte strategier ble avslørt.

• Les publikasjonen om studiet her

Resultatene viser eksempelvis hvordan flere deltakere tilla den kunstige intelligensen menneskelige trekk, som varte selv etter at de hadde fått innblikk i hvilke strategier som var lagt inn i programmeringen.

– Flere deltakere utviklet raskt sosiale mønstre og emosjonell tilknytning i interaksjonene med Day. Deltakerne tilpasset ubevisst språket sitt til KI-en, og fulgte også i noen tilfeller chatbotens råd i den virkelige verden, forteller Taranova.

Strategi gir utslag på dialogen

Et annet funn fra studien er at kontrollen, eller agency, i samtalen ikke styres enten av mennesket eller KI-systemet alene. Noen ganger ledet mennesket an, mens andre ganger tok KI styringen gjennom sine innebygde strategier.

I eksempelet med Day var språkmodellen programmert med ulike samtalestrategier; noen ganger skulle den stille personlige oppfølgingsspørsmål og «chatte» om hverdagslige ting, mens den andre ganger var kort og effektiv i svarene, eller direkte oppfordret til å skifte tema. Hvilken strategi språkmodellen brukte, skapte store utslag i dynamikken i samtalen, og i hvilken grad språkmodellen ble oppfattet som et verktøy, eller noe mer «vennskapelig».

Reiser store spørsmål

En deltaker klarte ikke å tulle med modellen fordi hun følte seg slem, mens en annen var bekymret for om hun hadde såret «følelsene» til KI-en og bad den om unnskyldning.

– Disse funnene ligner tidligere studier som også viser slike bånd som dannes. Blant annet har vi sett at noen får sorgreaksjoner eller skyldfølelse når en språkmodell fjernes, mens andre har utviklet «vennskap» eller i noen tilfeller også romantiske følelser til kunstig intelligens.

– Fra et psykologisk ståsted synes jeg det er veldig spennende hvorfor slike tilknytninger oppstår. Og fra et samfunnsståsted reiser dette store og viktige etiske spørsmål, sier Taranova, og utdyper:

– Når skillet mellom KI som verktøy og «venn» blir flytende, oppstår det nye utfordringer knyttet til potensiell manipulasjon, avhengighet og tap av selvstendighet hos mennesket.

Har KI en «agenda»?

I ytterste konsekvens mener hun slike dynamikker reiser grunnleggende spørsmål om maktbalansen mellom mennesker og en teknologi vi i stadig større grad slipper tettere inn på oss.

– Dersom KI-systemer får egne «agendaer», i form av strategier utformet av plattformleverandører og utviklere, risikerer vi at spillereglene endres, uten at brukerne en gang er klar over det, sier hun.

I studien argumenterer de derfor for at KI-modeller bør være «agency-selvbevisste»; altså at modellene åpent kan forklare hvilke strategier, prioriteringer og begrensinger som ligger bak svarene de gir.

– Dagens store språkmodeller opplyser at de er KI og at informasjon kan inneholde feil, men dette er ikke nok. Vi mener systemene i mye større grad enn i dag bør forklare egne «intensjoner», altså programmeringen som ligger bak teknologien. Slik vil brukere av KI kunne beholde reell autonomi og informert samtykke i møtet med teknologien, sier hun.

Taranova etterlyser også mer diskusjon på tvers av ulike fagfelt og i samfunnet generelt om hva disse strategiene innebærer, og hvilke former for KI vi ønsker oss i fremtiden. KI er hverken nøytral eller en «venn», men teknologi som bygger på aktive valg og instruksjoner under programmeringen - selv om slike modeller er kompliserte og det ikke bare er ett enkelt designvalg som styrer svarene fra en språkmodell.

Tverrfaglig ansvar

Siden ulike former for kunstig intelligens er i rask utvikling og slik påvirker de fleste samfunnsområder, mener Taranova vi som samfunn bør ta et større tverrfaglig ansvar for veien videre. For eksempel vil spørsmålet om hvordan mennesker og KI skal samhandle, påvirke hennes eget felt, helsesektoren, og hva slags type helsevesen vi vil få i fremtiden.

– KI er verdifullt for mange typer oppgaver, som å analysere enorme mengder data og sammenstille informasjon, men den kan ikke vurdere kontekst på samme måte som et menneske kan. En lege eller kliniker vil for eksempel ikke vurdere en situasjon likt hver gang, selv om to prøvesvar skulle være identiske. De vurderer også hva som er viktig å prioritere akkurat nå, for akkurat denne pasienten, ut fra flere vurderinger og konteksten for hver enkelt pasient. Det er en menneskelig forståelse som KI ikke kan gjenta.

Et eksempel er hvordan KI på svært effektive måter kan vurdere informasjon i bilder av en person som har kreft. Taranova argumenterer for at hva som faktisk er et klinisk viktig funn i et bilde er det klinikere som vet – ikke teknologene. Derfor må klinikere også være med å utforme teknologien, i tett samarbeid med teknologene som står for selve programmeringen.

– KI vil være en del av fremtiden, og det er ikke en utvikling vi kan si nei til. Men vi kan styre de etiske standardene og hvordan samhandling mellom kunstig intelligens og mennesker skal være i fremtiden, sier hun.

Taranova poengterer verdien av samspillet mellom menneskelig innsikt og kunstig intelligens, men understreker at potensialet bare kan realiseres fullt ut dersom man er klar over risikoene. Et tema som opptar henne i denne sammenhengen er hva som skjer med ansvarsfordeling og ansvarliggjøring i situasjoner der KI tas i bruk i beslutninger med store konsekvenser, som i helsevesenet, rettssystemet og militære formål. Dette er et spørsmål i en ny studie hun nå jobber med, også denne gang sammen med Yun.