Christian Hartvedt

Hovedfokus i prosjektet er å undersøke måter kontekstinformasjon kan utnyttes på gjennom interaktivitet mellom menneske og system når det søkes etter bilder i digitale samlinger. Undersøkelsen vil bygge på en evaluering av funksjonaliteten til noen tidligere system som støttet interaksjon mellom bruker og system i innholdsbasert bildefremhenting.

Det vil i løpet av dette prosjektet bli designet, utviklet og testet et verktøy som representerer en ny tilnærming for tilrettelegging av økt grad av det vi kan kalle dynamisk interaktivitet. Denne formen for interaktivitet mellom brukeren og systemet vil finne sted ved gjennomgåingen av resultatene fra innholdsbaserte spørringer mot datasamlinger bestående av digitale bilder. Dette er spørringer som tar utgangspunkt i det syntaktiske innholdet i et bilde, vanligvis representert ved former, farger, teksturer og spatiale strukturer. Disse lav-nivå trekkene sammenlignes deretter med innholdet til bilder lagret i databasen for å finne lignende bilder.

Spørringer basert på bruk av syntaktisk bildeinnhold kan gi brukere muligheter til å uttrykke seg på en måte som de ved vanlige tekstsøk sannsynligvis ville hatt store problemer med. Denne muligheten setter imidlertid også større krav til interaksjonen mellom system og bruker da bildet som danner utgangspunkt for spørringen sjelden vil være entydig hva semantikk angår. Systemet må ”gjette” hva brukeren er interessert i på bakgrunn av et gitt eksempelbilde, og kan ikke i like stor grad som ved tekstsøk arbeide ut fra et konkret spesifisert informasjonsbehov.

Den vanligste formen for interaktivitet mellom system og bruker i de fleste applikasjoner som har støttet innholdsbasert bildefremfinning er to-delt. I praksis betyr dette at brukeren har interagert med systemet i begynnelsen og på slutten av spørringsprosessen. I begynnelsen av prosessen har det i de fleste system vært vanlig at brukeren har spesifisert informasjonsbehovet i form av et bilde eller en tegning som systemet deretter har gjort bruk av i spørringen. I mange av de systemene som har blitt presentert i litteraturen har det i tillegg på slutten av søkeprosessen vært lagt til rette for at brukeren kunne gi tilbakemelding, kjent som relevance feedback, på relevansen til bildene som ble returnert i resultatsettet. Systemet kunne deretter bruke denne tilbakemeldingen til å forsøke å forbedre resultatet i en iterativ prosess.

Det er en del problemer og begrensninger knyttet til relevance feedback tilnærmingen slik den har vært praktisert innen innholdsbasert bildefremhenting. Disse problemene er hovedsaklig knyttet til algoritmenes evne til å lære og algoritmenes evne til å bruke tilbakemeldingen fra brukeren til å forbedre sin egen ytelse. Når det gjelder algoritmens evne til å lære, er det spesielt vekting av positive og negative bildetrekk som volder problemer. I praksis kan positive trekk få negativ vekting og vice versa. Når det gjelder algoritmenes evne til å bruke tilbakemelding fra brukeren er det ofte slik av brukere ikke orker å gi tilbakemelding på det antall bilder som algoritmen behøver for å forbedre resultatene fullt ut. I tillegg er det også kostnader knyttet til komputasjon av nye resultatsett, dvs. en kontinuerlig strøm av spørringer mot systemet.

En vesentlig oppgave er å operasjonalisere begrepet kontekstinformasjon slik det brukes i dette prosjektet.

Det vil i prosjektet også undersøkes hvordan og i hvilken form interaktivitet har blitt benyttet i en del tidligere system utviklet med støtte for innholdsbasert bildefremhenting og relevance feedback. Denne undersøkelsen vil bli gjort gjennom en litteraturstudie.

På bakgrunn av dette vil det bli utviklet en prototyp på et system som har innebygget støtte for dynamisk interaktivitet, samt evne til å fange og utnytte kontekstinformasjon. Prototypen vil bli testet på brukere, og ytelsen til prototypen vil bli evaluert både kvalitativt og kvantitativt.


Ytterligere informasjon om prosjektet finnes på prosjektets hjemmesider.

Prosjektet er finansiert gjennom NFR og VERDIKT programmet via CAIM prosjektet