1.0 KiB
1.0 KiB
Lokale Modelle — Vergleichstabelle für VPS (16GB RAM)
Thinking-Modelle (Chain-of-Thought/Reasoning)
| Modell | Größe | Kontext | RAM-Bedarf | Läuft auf VPS? | Empfehlung |
|---|---|---|---|---|---|
| deepseek-r1:7b | 4.7 GB | 128k | ~6-7 GB | ✅ | Sweet Spot — aktiv |
| deepseek-r1:14b | 9.0 GB | 128k | ~11-12 GB | ⚠️ knapp | geladen, ungetestet |
| deepseek-r1:32b | ~20 GB | 128k | ~24 GB | ❌ | zu groß |
| qwq:32b | ~20 GB | 128k | ~24 GB | ❌ | zu groß |
Ohne Thinking
| Modell | Größe | Kontext | RAM-Bedarf | Läuft? |
|---|---|---|---|---|
| phi-4:14b | ~9 GB | 16k | ~11 GB | ⚠️ (nur 16k Kontext) |
| qwen2.5:7b | ~4.7 GB | 32k | ~6 GB | ✅ (kein Thinking) |
| llama3.1:8b | ~4.9 GB | 8k | ~6 GB | ✅ (nur 8k, kein Thinking) |
Faustregel
- 16GB RAM VPS: max 7B-14B Modelle (14B belegt ~75% RAM)
- RTX 2060 6GB: max 7B (Q4_K_M ~4.5GB VRAM)
- ARM64 (Switch Lite): max 3B-8B (CPU-Inference)