Hur mycket VRAM behöver man för lokala AI-modeller? Uppmätt på 16 modeller
Uppmätt: fil på disk mot VRAM vid körning
Tumregeln "VRAM = filstorleken" stämmer inte. I vår mätning låg kvoten VRAM/disk mellan 0.05 och 2.14 beroende på modell, eftersom Ollama lägger till kontextminne (KV-cache) och overhead ovanpå vikterna. Tabellen visar exakt vad varje modell tog.
| Modell | Disk (GB) | VRAM vid körning (GB) | Kvot | Helt i VRAM på 24 GB |
|---|---|---|---|---|
qwen3:30b-a3b-lc | 18.6 | 22.06 | 1.19 | ✔ |
ornith:35b-lc | 21.2 | 21.91 | 1.03 | ✔ |
ornith:35b | 21.2 | 21.45 | 1.01 | ✔ |
qwen3:30b-a3b | 18.6 | 20.25 | 1.09 | ✔ |
qwen3.8:27b-lc | 17.7 | 17.84 | 1.01 | ✔ |
qwen3.8:27b | 17.7 | 17.54 | 0.99 | ✔ |
hf.co/OBLITERATUS/Qwen3.8-27B-OBLITERATED:Q4_K_M | 16.8 | 17.39 | 1.04 | ✔ |
mistral-small:24b | 14.3 | 17.08 | 1.19 | ✔ |
nimble:latest | 9.5 | 8.87 | 0.93 | ✔ |
qwen3-vl:8b | 6.2 | 8.33 | 1.34 | ✔ |
qwen3:8b | 5.2 | 7.72 | 1.48 | ✔ |
qwen3:8b-lc | 5.2 | 7.72 | 1.48 | ✔ |
qwen3.5:9b | 6.6 | 6.17 | 0.93 | ✔ |
qwen3:4b | 2.5 | 5.34 | 2.14 | ✔ |
qwen3:4b-ref | 2.5 | 3.22 | 1.29 | ✔ |
gemma4:26b-a4b | 18.7 | 1.01 | 0.05 | ✔ |
Vilka modeller ryms på hur mycket VRAM
24 GB är uppmätt på riktigt. Övriga nivåer är beräknade från det uppmätta VRAM-behovet vid Ollamas standardkontext – med kortare kontext ryms mer, med längre mindre.
- 32 GB (RTX 5090, beräknat):
qwen3:4b(167.7 tok/s),qwen3:4b-ref(165.7 tok/s),qwen3:30b-a3b(162.1 tok/s),qwen3:30b-a3b-lc(161.9 tok/s),gemma4:26b-a4b(156.7 tok/s),ornith:35b(143.2 tok/s),ornith:35b-lc(142.2 tok/s),qwen3:8b(115.2 tok/s),qwen3:8b-lc(114.7 tok/s),qwen3-vl:8b(113.6 tok/s),qwen3.5:9b(99.2 tok/s),nimble:latest(74.9 tok/s),qwen3.8:27b(60.7 tok/s),qwen3.8:27b-lc(60.3 tok/s),mistral-small:24b(48.5 tok/s),hf.co/OBLITERATUS/Qwen3.8-27B-OBLITERATED:Q4_K_M(38.6 tok/s). - 24 GB (RTX 3090/4090, RX 7900 XTX):
qwen3:4b(167.7 tok/s),qwen3:4b-ref(165.7 tok/s),qwen3:30b-a3b(162.1 tok/s),qwen3:30b-a3b-lc(161.9 tok/s),gemma4:26b-a4b(156.7 tok/s),ornith:35b(143.2 tok/s),ornith:35b-lc(142.2 tok/s),qwen3:8b(115.2 tok/s),qwen3:8b-lc(114.7 tok/s),qwen3-vl:8b(113.6 tok/s),qwen3.5:9b(99.2 tok/s),nimble:latest(74.9 tok/s),qwen3.8:27b(60.7 tok/s),qwen3.8:27b-lc(60.3 tok/s),mistral-small:24b(48.5 tok/s),hf.co/OBLITERATUS/Qwen3.8-27B-OBLITERATED:Q4_K_M(38.6 tok/s). - 16 GB (RTX 5060 Ti 16 GB, 5070 Ti, 5080, RX 9070 XT):
qwen3:4b(167.7 tok/s),qwen3:4b-ref(165.7 tok/s),gemma4:26b-a4b(156.7 tok/s),qwen3:8b(115.2 tok/s),qwen3:8b-lc(114.7 tok/s),qwen3-vl:8b(113.6 tok/s),qwen3.5:9b(99.2 tok/s),nimble:latest(74.9 tok/s). - 12 GB:
qwen3:4b(167.7 tok/s),qwen3:4b-ref(165.7 tok/s),gemma4:26b-a4b(156.7 tok/s),qwen3:8b(115.2 tok/s),qwen3:8b-lc(114.7 tok/s),qwen3-vl:8b(113.6 tok/s),qwen3.5:9b(99.2 tok/s),nimble:latest(74.9 tok/s). - 8 GB:
qwen3:4b(167.7 tok/s),qwen3:4b-ref(165.7 tok/s),gemma4:26b-a4b(156.7 tok/s),qwen3.5:9b(99.2 tok/s).
Tre saker som avgör mer än man tror
- Kvantisering. Q4 tar ungefär en fjärdedel av fp16. Alla våra modeller är Ollamas standardkvantisering (kolumnen Kvant i fullständiga tabellen).
- Kontextfönster. Varje token i kontexten kostar VRAM. Sätt
num_ctxefter behov i stället för max. - MoE-modeller.
qwen3:30b-a3bhar 30B parametrar men aktiverar 3B per token – därför 162.1 tok/s trots 20.25 GB VRAM. Storleken avgör minnet, aktiva parametrar avgör farten.
Korten som matchar nivåerna, med dagens priser: grafikkortsguiden.
Vanliga frågor
Varför tar modellen mer VRAM än filen på disk?
Vikterna är bara en del. Ollama reserverar minne för kontextfönstret (KV-cache) och för beräkningsbuffertar. Ju längre kontext, desto mer minne – oberoende av modellens storlek.
Kan jag köra en modell som är större än mitt VRAM?
Ja, Ollama delar då lagren mellan GPU och CPU. Uppmätt hos oss: de 0 modeller som inte rymdes i 24 GB gav None–None tokens/s, mot minst 38.6 tok/s för dem som rymdes. Det fungerar, men det är en annan upplevelse.
Räcker 16 GB för qwen3:30b-a3b?
Nej enligt vår mätning: modellen tog 20.25 GB vid standardkontext. Med kraftigt kortad kontext kan det gå, men då förlorar du det modellen är bra på.
Källor och metod
- Egen mätning 18 oktober 2026, Ollama 0.40.4, /api/ps size_vram per modell. Rådata: – https://hemmalabb.dynap.se/data/benchmark.json