Какая LLM запустится на моей видеокарте
Выберите карту из списка (или введите VRAM и пропускную способность вручную) — покажем топ-5 локальных LLM: квант, размер, сколько VRAM нужно, ожидаемая скорость и команда запуска. Оценки — от bandwidth/размера, не бентчмарки.
Как считаем
Мин. VRAM для Q4 ≈ параметры × 0.6–0.75 ГБ + 1–2 ГБ на контекст; бюджет ≈ 90% VRAM. Скорость: tok/s ≈ пропускная способность памяти ÷ размер модели × 0.5 (dense) / × 0.18 по активным (MoE). Не влезает в VRAM → CPU-offload 1–5 tok/s. Метод — модификация под РФ-контекст из modelfit.io (CC BY 4.0); оценки, не бентчмарки.
Каталог
Видеокарты (12)
Модели (18)
- Llama 3.1 8B Instruct
- Llama 3.3 70B Instruct
- Qwen3 8B
- Qwen3 14B
- Qwen3 30B
- Qwen3.5 9B Instruct
- Qwen3.5 35B-A3B InstructMoE
- DeepSeek-R1 Distill Qwen 14B
- DeepSeek-R1 Distill Qwen 7B
- Mistral Small 3.1 24B
- Devstral Small 2 24B
- Gemma 3 12B
- Gemma 4 12B
- Phi-4 14B
- GLM-4.7-Flash 30B-A3BMoE
- MiniCPM-V 4.5 8B
- Ministral 3 8B
- Gemma 4 26B-A4BMoE