DH-Lunsj: Kvifor bruke Vision Language Models til handskriftsgjenkjenning - ein holistisk tilnærming
Denne DH- lunsjen vil handle om fine-tuning «trening» av Vision Language Models (VL-modellar), eller bilde-til-tekst språkmodellar.
Hovedinnhold
Vision Language Models eller Multimodal LLM
VLM er ein slags LLM’ar, men med bilde og video som hovudinput ikkje chat-dialog. Derfor blir dei også omtalt som Multimodal LLM. Vi har eit prosjekt der vi trener VL-modellen Qwen 3.0 VL på norsk handskrift frå tidleg 1900-tal. Målet er å kunne transkribere heile folketeljinga 1920 inkludert boligdelen.
VL-modellane (Google Gemini, Qwen VL) er i ferd med å konkurrere ut tradisjonell OCR og HTR/HWR som er ord og linjebaserte. Trening av VL-modellar er derfor annleis enn t.d. Transkribus, trOCR og krev andre type datasett enn t.d. Norhand (Nasjonalbiblioteket). VL-modellar «forstår» heile sider og trekkjer slutningar basert på liknande ordmønster på same side.
Om foredragshaldaren
Arne Solli er førsteamanuensis i historie ved Institutt for arkeologi, historie, kultur‑ og religionsvitenskap (AHKR) ved Universitetet i Bergen. Han har sin faglige bakgrunn i historisk demografi, familie- og husholdhistorie, og har senere spesialisert seg på byhistorie, epidemiers historie og areal‑ og eiendomshistorie i perioden 1500–1900. Arne leder blant annet UrbGIS-prosjektet, en kartportal for historisk befolknings- og eiendomsdata i norske byer, og er engasjert i anvendt digital humaniora og historiske Informasjonssystemer.
Zoom lenke blir sendt ut de påmeldte etter fristen er utløpt.
DH-lunsjserien
DH-lunsjserien er et samarbeid mellom Digital Lab ved Universitetsbiblioteket i Bergen, D-lab ved NTNU og Norsk nettverk for digitale humaniora og kulturorganisasjoner (DHKO). Lunsjserien tar opp temaer relatert til digitale humaniora (DH) og gir forskere og andre som jobber med DH-prosjekter eller forskning mulighet til å dele erfaringer, suksesser og utfordringer knyttet til bruk av digitale verktøy og/eller metoder.
Har du forslag til temaer du ønsker å høre mer om, eller jobber du med noe du gjerne vil dele? Ikke nøl med å kontakte oss arrangører på e-post.
Våren 2026 kan du delta på digitale DH-lunsjer på følgende datoer og klokkeslett:
- Torsdag 29. januar kl. 11.30–12.00
- Torsdag 26. februar kl. 11.30–12.00
- Torsdag 26. mars kl. 11.30–12.00
- Torsdag 30. april kl. 11.30–12.00
- Torsdag 28. mai kl. 11.30–12.00
Følg Digital Lab kalenderen for mer informasjon.