Генерация и редактирование в среде Stable Diffusion

Квантование LLM для локального запуска — Полный обзор 2026

Подготовлено на основе анализа актуальных источников, бенчмарков и практических тестов. Август 2026.


Квантование нейросетей — это техника сжатия модели путём уменьшения точности весов (обычно с 16-бит до 4–8 бит). Это сокращает размер модели в 2–4 раза и пропорционально снижает потребление VRAM, делая возможным запуск моделей класса 70B на потребительских GPU.

— a) Сравнение уровней квантизации GGUF —

Уровень	Бит/вес	Размер	Качество	Потери	VRAM (модель)
Q8_0	8-bit	~7.7 GB	99.5%	~0.5%	~8.5 GB
Q6_K	6-bit	~5.9–6.7 GB	98–99%	1–2%	~6.7 GB
Q5_K_M	~5.5-bit	~5.1–5.3 GB	96–98%	2–4%	~5.3 GB
Q5_K_S	~5-bit	~4.8 GB	97.5%	~2.5%	~5.0 GB
Q4_K_M	~4.5-bit	~4.1–4.7 GB	95–96.5%	3.5–5%	~4.4 GB
Q4_K_S	~4-bit	~4.1 GB	95.5%	~4.5%	~4.1 GB
IQ4_XS	~4-bit	~4.0 GB	~96%	~4%	~4.0 GB
Q3_K_M	~3.5-bit	~3.5 GB	~92%	~8%	~3.5 GB
Q2_K	~2-bit	~2.8 GB	~85%	~15%	~2.8 GB

*VRAM = модель + KV-кэш (нужно ещё 1–3 GB на контекст)

• 8 GB (RTX 4060, 3070): Q4_K_M — единственный вариант для 7B с контекстом
• 12 GB (RTX 4070, 3080): Q5_K_M — заметный прирост качества для кода и reasoning
• 16 GB (RTX 4080): Q6_K или Q8_0 для 7B; Q5_K_M для 13B
• 24 GB (RTX 4090): Q8_0 для 7–13B, Q5_K_M для 30B+

• Q4 достаточно: суммаризация, классификация, простой QA, чат
• Q5+ нужен: генерация кода, multi-step reasoning, креативное письмо
• Q6+/Q8 критично: арифметика, точные факты, JSON/XML output

— b) Сравнение форматов квантизации —

Формат	Биты	Качество	Скорость*	Лучшее применение
GGUF Q8_0	8-bit	99.5%	120 tok/s	Максимальное качество
GGUF Q6_K	6-bit	98%	161 tok/s	Production sweet spot
GGUF Q4_K_M	~4.5-bit	95–96.5%	190 tok/s	VRAM-constrained, универсальный
GPTQ-Int4	4-bit	95–96%	~150 tok/s	vLLM + LoRA, CUDA-first
AWQ-Int4	4-bit	95–96%	~155 tok/s	Код/креатив, best quality-per-token
EXL2	2.5–6-bit	Best per bit	Зависит от слоя	ExLlama v2 only, finest control
NVFP4 (Blackwell)	FP4	80–97.5%	~68 tok/s	Multi-user на RTX 5090/B200

*Скорость на RTX 5090, Qwen3-8B, single user. Источники: ai.rs, Local AI Master

Модель	FP16 baseline	GGUF Q4_K_M	GPTQ 4-bit	AWQ 4-bit
Llama 3.1 8B	87.5	85.9 (−1.6)	84.7 (−2.8)	86.8 (−0.7)
Mistral 7B	85.3	83.8 (−1.5)	83.1 (−2.2)	84.6 (−0.7)
Qwen 2.5 14B	88.1	87.0 (−1.1)	86.0 (−2.1)	86.6 (−1.5)

[i>Источник: Local AI Master quantization lab, октябрь 2025 / март 2026[/i]

Инструмент	Описание	Особенности
Unsloth Dynamic 4-bit	QLoRA с selective quantization — не квантует чувствительные слои	+10% VRAM, <10% loss; fine-tuning на RTX 3060 (6 GB VRAM)
llama.cpp CUDA Graphs	--CUDA_GRAPH_OPT=1 для concurrent streams	До +25% throughput на RTX, native MXFP4 на Blackwell
imatrix (importance matrix)	Калибровка по данным — IQ4_XS может превзойти Q4_K_M	Нужен good imatrix dataset; bartowski/TheBloke включают
NVFP4 (NVIDIA Blackwell)	Нативный FP4 на RTX 5090/B200 Tensor Cores	Быстрее INT4 на Blackwell, но падение на hard reasoning до 79–82%
Unsloth Studio	Визуальный UI для fine-tuning + GGUF export	No-code; поддерживает LoRA, QLoRA, GRPO, DPO, FP8
ExLlama v2	Per-layer bit allocation (2.5–6 бит на слой)	Best quality per bit, но только ExLlama runtime

— d) Лучшие практики по GPU —

Платформа	Лучший формат	Ключевые оптимизации
NVIDIA RTX 3060/3070 (8–12 GB)	GPTQ-Int4 или GGUF Q4_K_M	--n-gpu-layers -1, flash-attn, threads=physical cores−1
NVIDIA RTX 4070–4090 (12–24 GB)	AWQ-Int4 или GGUF Q5/Q6	CUDA Graphs (--CUDA_GRAPH_OPT=1), ubatch=4096+, batch=2048+
Apple Silicon M-series	GGUF Q4_K_M / Q5_K_M	Metal backend, CPU fallback; Q4_K_M — default
AMD ROCm (RX 7900+)	AWQ-Int4 через vLLM ROCm 6	--ubatch 4096, flash-attn

Ключевые оптимизации llama.cpp:

• Threads: -t = physical cores − 1 (оставлять ядро для scheduling)
• Ubatch/Batch: --ubatch 4096 --batch 2048 — saturate GPU
• Flash Attention: --flash-attn — обязательно для производительности
• KV Cache: не забывать про VRAM на кэш (1–3 GB дополнительно)
• Partial offload: Q5 с partial offload часто лучше, чем Q4 full-GPU

— e) bartowski GGUF — новые релизы (август 2026) —

bartowski активно публикует GGUF-модели на HuggingFace:

Модель	Размер	Доступные кванты	Примечание
Qwen3.6-35B-A3B	35B (MoE)	Q4_K_M, Q8_0, IQ4_XS и др.	MTP layers с b9180 llama.cpp
Qwen3-Next-80B-A3B-Thinking	80B MoE	Q4_K_S, Q4_0, IQ4_NL	46 GB для Q4_K_S
Gemma 4-12B-it	12B	Все кванты	Новейший Gemma
MiniMax-M3	—	Все кванты	Новый MoE от MiniMax
Qwen3-8B	8B	Q4_K_M, Q8_0 и др.	Стандартный выбор для consumer GPU

🏆 Золотой стандарт: GGUF Q5_K_M / Q6_K

• Q6_K — лучший баланс качество/скорость для production (98% качества, ~161 tok/s на RTX 5090)
• Q5_K_M — оптимальный выбор для 12 GB VRAM; разница с оригиналом почти незаметна в daily use
• K_M variants всегда лучше K_S за счёт приоритизации attention layers

🥈 Для ограниченного VRAM: GGUF Q4_K_M

• Единственный разумный выбор для 8 GB GPU
• Потеря ~3.5–5% качества — приемлемо для чата/суммаризации, заметна в коде и математике
• Важно: IQ4_XS с good imatrix может превзойти Q4_K_M

🥉 Для fine-tuning: Unsloth Dynamic 4-bit + LoRA

• Fine-tuning 8B модели на RTX 3060 (6 GB VRAM) — реально
• Selective quantization сохраняет чувствительные слои, давая <10% loss при +10% VRAM cost
• Экспорт в GGUF встроен в Unsloth Studio

⚡ Для NVIDIA RTX 40xx/50xx: CUDA Graphs + AWQ/GPTQ

• --CUDA_GRAPH_OPT=1 даёт до +25% throughput
• GPTQ-Int4 — единственный 4-bit формат с LoRA support в vLLM
• NVFP4 на Blackwell (RTX 5090) — будущее, но пока падает на hard reasoning

🎯 Практический совет для RTX 3060 (12 GB):

GGUF Q5_K_M для 7B моделей + Q4_K_M для 13–35B MoE. Fine-tune через Unsloth с load_in_4bit=True и экспортом в GGUF.

[i>Источники: ai.rs, localaimaster.com, bmdpat.com, unsloth.ai, NVIDIA Developer Blog, r/LocalLLaMA. Бенчмарки на RTX 5090 / RTX 4090, Qwen3-8B, Llama 3.1 8B.[/i]