PC til lokal AI: hva trenger du?

Lokalt blir det du skriver på maskinen, du betaler ikke abonnement, og det virker uten nett. Men en modell som får plass på et vanlig skjermkort, er ikke like dyktig som de største skytjenestene. Den holder til oppsummering, utkast, enkel koding og oversettelse, og gjør flere feil på vanskelige oppgaver. Trenger du bare en god assistent, er et abonnement billigere enn et nytt kort.

En språkmodell er en stor fil med tall (parametere). For hvert ord den skriver, må kortet lese gjennom nesten hele filen, så hastigheten bestemmes mest av minnets båndbredde. En modell på 8 milliarder parametere i 4-bit er rundt 5 GB. RTX 5060 Ti leser videominnet med 448 GB/s, som gir et teoretisk tak på rundt 90 tokens (ord eller orddeler) i sekundet. To moduler DDR5-6000 leser 96 GB/s, og taket er nær 20. Virkelig hastighet er lavere, men forholdet består.

Får ikke modellen plass i videominnet, legges resten i vanlig RAM, og den delen bremser alt. Modellen virker, men blir ofte for treg til å være behagelig. Derfor er et tregere kort med 16 GB bedre til dette enn et raskere med 12 GB.

Kvantisering lagrer hvert tall med færre bit. Tallene fra llama.cpp for Llama 3.1 8B viser effekten: rundt 15 GB med 16 bit, 8 GB med 8 bit og 4,6 GB med 4 bit (Q4_K_M). Noe presisjon går tapt, men 4-bit regnes som et godt kompromiss og er det de fleste bruker. En større modell i 4-bit er ofte bedre enn en mindre i 8-bit. Under 4 bit blir tapet raskt tydeligere.

Regnestykket vårt er rundt 0,6 GB per milliard parametere i 4-bit, pluss rundt 2 GB til kontekst og drivere. En modell på 14 milliarder trenger altså 14 × 0,6 + 2 = 10,4 GB, og passer på et kort med 12 GB. Det er et anslag, og lange samtaler og dokumenter trenger mer. Ollama bruker derfor bare rundt 4 000 tokens kontekst som standard på kort under 24 GB, og det kan du øke hvis du har minne til overs.

Noen modeller aktiverer bare en del av seg selv for hvert ord. gpt-oss 20B har 21 milliarder parametere, men bruker 3,6 milliarder om gangen. Hele modellen må fortsatt ligge i minnet, men den svarer raskt for størrelsen, og den tåler bedre å ligge delvis i RAM.

Mest minne for pengene er ikke alt, siden Nvidia har bredest støtte. Vil du ha Nvidia med 16 GB, starter det på 6 990 kr med RTX 5060 Ti. En modell på 70 milliarder krever over 40 GB, mer enn noe spillkort har. Den må deles mellom videominne og RAM og blir treg.

Nvidia er det trygge valget, siden nesten alt innen AI lages for CUDA først. Det gjelder særlig bilde- og videogenerering og trening av modeller. Språkmodeller er enklere. Ollama støtter RX 9000 med ROCm på Linux. På Windows står RX 7000 på ROCm-listen, men ikke RX 9000, som i stedet går via Vulkan. Ollama bruker Vulkan automatisk på Windows, og det følger med skjermkortdriveren. Det er også veien for Intel-kort. Se også Nvidia eller AMD.

Modellen ligger i videominnet, så RAM teller mest når du deler større modeller mellom kortet og prosessoren. 32 GB holder for de fleste (fra 7 170 kr), og 64 GB gir plass til å prøve større modeller (fra 14 480 kr). Se guiden om RAM. Modellene er filer på 5 til 20 GB eller mer, så sett av plass på SSD-en hvis du vil prøve flere. Prosessoren betyr lite så lenge alt ligger på kortet.

1. 1

   Installer et program

   LM Studio har et vanlig vindu der du søker etter modeller og chatter, og er gratis også på jobb. Ollama passer hvis du vil koble modellen til andre programmer.
2. 2

   Velg en modell som passer minnet

   Bruk tabellen over og velg 4-bit (ofte merket Q4_K_M). I Ollama starter du en modell med ollama run qwen3:8b. Modeller merket :cloud kjører på Ollamas servere, ikke på maskinen din.
3. 3

   Sjekk at den ligger på kortet

   Kjør ollama ps mens modellen er lastet. Står det 100% GPU, ligger alt i videominnet. Viser den en deling med CPU, velg en mindre modell eller kortere kontekst.