Distributed LLM Fine-Tuning & Inference on HPC Systems
Norwegian Research Infrastructure Services (NRIS) arrangerer fysisk kurs over to dager i Bergen. Få praktisk erfaring med finjustering av enkelt-GPU, skalering av flere GPU-er og optimalisert LLM-inferens på et høyytelsesdatasystem (HPC). Bygg ferdigheter i optimalisering av store språkmodeller i HPC-miljøer.
Hovedinnhold
Innhold: I kurset vil du lære å:
- Implementere parametereffektiv finjustering ved hjelp av LoRA og QLoRA
- Konfigurere og starte distribuerte treningsarbeidsbelastninger på tvers av flere GPU-er
- Utføre distribuert LLM-inferens
- Overvåke og analysere GPU-utnyttelse og profilere GPU-minne
HPC-system: Olivia Supercomputer
Målgruppe: Kurset er ideelt for forskere, utviklere og studenter med Python-erfaring som ønsker praktiske ferdigheter i skalerbar LLM-trening og inferens på et HPC-system.
Forutsetninger:
- Kjennskap til maskinlæringsrammeverk (ML) (f.eks. PyTorch)
- Grunnleggende forståelse av store språkmodeller (LLM-er)
Påmelding: Meld deg på her
Praktisk informasjon: Kurset er gratis og har en maksimal kapasitet på 30 deltakere. Det vil bli servering av mat, litt lett bakverk og kaffe/te begge dager.
Kurset holdes på engelsk.
Kursleder: Hicham Agueny
Koordinator: Eirik Skjerve