Qwen3.6-35B-A3B — Полное исследование для локального запуска на потребительском GPU
Дата исследования: 2026-08-11
Активная модель в сессии: qwen3.6-35b-a3b-uncensored-hauhaucs-aggressive (LMStudio)
— — — — — — — —
1. Архитектура и спецификации модели
| Параметр | Значение |
| Общее число параметров | 35 млрд |
| Активных на токен | ~3 млрд (MoE: 256 экспертов, 8 routed + 1 shared) |
| Архитектура | Гибридная MoE: Gated DeltaNet (75% слоёв — линейный attention) + стандартный Gated Attention (25%) |
| Слоёв | 40 |
| Hidden dimension | 2048 |
| Attention heads | 16 Q / 2 KV (GQA) |
| RoPE theta | 10,000,000 |
| Нормализация | RMSNorm |
| Activation | SwiGLU |
| Токенизатор | VOCAB_SIZE: 248,320 |
| Родной контекст | 262,144 токенов (до ~1M с YaRN) |
| Лицензия | Apache 2.0 |
| Дата выхода | 15 апреля 2026 |
— Ключевые особенности архитектуры —
- Gated DeltaNet: 75% слоёв используют линейный attention (Gated DeltaNet с 32 head для values, 16 для QK), что даёт O(n) сложность по длине контекста вместо O(n²). Это критично для длинного контекста.
- MoE routing: 256 экспертов, на каждый токен активируется только 8 routed + 1 shared = 9 экспертов. Это обеспечивает высокую эффективность при инференсе.
- Thinking preservation: Модель сохраняет reasoning traces между turns — важно для агентов (Hermes Agent, OpenClaw).
- MTP (Multi-Token Prediction): Обучена с NEXTN speculative decoding — ускоряет генерацию.
— — — — — — — —
2. Доступные варианты от провайдеров
— 2.1 bartowski (GGUF через llama.cpp) —
Репозиторий: bartowski/Qwen_Qwen3.6-35B-A3B-GGUF llama.cpp build: b9222
Калибровка: imatrix на кастомном датасете
| Квантование | Размер файла | Качество | Рекомендация |
| bf16 | 71.07 GB | Максимальное | Для серверов с достаточной RAM/VRAM |
| Q8_0 | 37.81 GB | Очень высокое | Избыточно, но для KV-cache полезно |
| Q6_K_L | 31.19 GB | Почти идеальное | ★ Рекомендовано для качества |
| Q6_K | 30.95 GB | Почти идеальное | ★ Рекомендовано для качества |
| Q5_K_L | 26.23 GB | Высокое | ★ Рекомендовано (баланс) |
| Q5_K_M | 25.91 GB | Высокое | ★ Рекомендовано (универсальный выбор) |
| Q5_K_S | 25.05 GB | Высокое | ★ Рекомендовано |
| Q4_1 | 22.87 GB | Хорошее | Legacy формат, лучше для Apple Silicon |
| Q4_K_L | 22.66 GB | Хорошее | ★ Рекомендовано (баланс размер/качество) |
| Q4_K_M | 22.29 GB | Хорошее | ★ По умолчанию для большинства случаев |
| Q4_K_S | 21.49 GB | Умеренное | ★ Рекомендовано (экономия места) |
| Q4_0 | 20.84 GB | Хорошее | Legacy, онлайн-репакинг для ARM/AVX |
| IQ4_NL | 20.75 GB | Умеренное | Лучше чем IQ4_XS, репакинг на CPU |
| IQ4_XS | 19.70 GB | Умеренное | ★ Рекомендовано (лучший размер/качество для NVIDIA) |
— 2.2 Unsloth (GGUF + MTP + Dynamic Quantization v2.0) —
Репозиторий: unsloth/Qwen3.6-35B-A3B-GGUF и
unsloth/Qwen3.6-35B-A3B-MTP-GGUF Особенности:- Dynamic Quantization v2.0 (UD) — адаптивное квантование на уровне тензоров
- MTP-версии с поддержкой speculative decoding (
--spec-type draft-mtp) - На RTX 6000: до 240 tok/s генерации для 35B-A3B
— 2.3 huihui-ai (Abliterated / Uncensored) —
Репозиторий: huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated-MTP-GGUF Метод: Abliteration (remove-refusals) — убирает safety-фильтры без переобучения
- Поддержка MTP (
--spec-draft-n-max 6) - Пример запуска:
llama-cli -ngl 99 -c 262144 --spec-type draft-mtp
— 2.4 NVIDIA (NVFP4) —
Репозиторий: nvidia/Qwen3.6-35B-A3B-NVFP4 - FP8/NVFP4 квантование с fine-grained quantization (128-block granularity)
- ~50% экономия VRAM от FP32
- Для vLLM:
--moe-backend marlin --kv-cache-dtype fp8
— 2.5 LM Studio Community —
Репозиторий: lmstudio-community/Qwen3.6-35B-A3B-GGUF - GGUF от команды LM Studio на базе llama.cpp b8814
- Оптимизирован для прямого использования в LM Studio / Pi / Hermes Agent
— 2.6 Byteshape (ShapeLearn) —
Репозиторий: byteshape/Qwen3.6-35B-A3B-GGUF - ShapeLearn — учит оптимальный datatype для каждого тензора
- Работает на уровне ниже стандартных GGUF квантований
- Метки: IQ4_XS, Q3_K_S и т.д. (не совпадают с обычными GGUF тегами)
— 2.7 SC117 / Heretic (APEX Dynamic Quantization) —
Модель: SC117/Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-APEX-GGUF - APEX — динамическое квантование от SC117
- Uncensored + Heretic (снят safety) + MTP + Preserve thinking
- Размер меньше UD-IQ4_XXS, позволяет полный контекст 262K на 8GB VRAM
— — — — — — — —
3. Производительность длинного контекста (64K / 128K / 256K)
— Needle-in-Haystack и Retention —
- Родной контекст: 262,144 токенов — модель обучена с этим лимитом
- С YaRN: до ~1,010,000 токенов (static extension)
- Рекомендация Qwen: минимум 128K контекста для сохранения thinking capabilities
— Практические наблюдения из сообщества: —
| Контекст | Наблюдения |
| 64K | Работает стабильно, но для агентов маловато. Пользователи отмечают, что 32-64K недостаточно для full agentic coding |
| 128K | Оптимальный баланс. Большинство пользователей ставят именно здесь. Thinking preservation работает хорошо |
| 256K | Модель справляется отлично — контекст "очень дешёвый" на Qwen. Но требует много RAM (40-60GB) |
| 262K полный | Работает, но pp (prompt processing) замедляется. Для агентов PP важнее TG |
— Ключевой вывод: —
Qwen3.6-35B-A3B
отлично работает с длинным контекстом. DeltaNet архитектура даёт O(n) сложность, что означает линейное замедление вместо квадратичного. Пользователи подтверждают, что модель "не теряет факты" на 128K+ контексте.
— — — — — — — —
4. Сравнение MTP vs Classical (без MTP)
— MTP (Multi-Token Prediction / Speculative Decoding) —
Как работает: Модель предсказывает несколько токенов за шаг, затем верифицирует их. Принятые токены не требуют отдельного forward pass.
Настройка для llama.cpp:--spec-type draft-mtp --spec-draft-n-max 4
Для vLLM/SGLang:# vLLM
--speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}'
# SGLang
--speculative-algo NEXTN --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4
— Результаты из практики: —
| Параметр | Без MTP | С MTP |
| TG (token generation) | ~25-30 tok/s (на RTX 3070/8GB) | ~35-40+ tok/s (зависит от acceptance rate) |
| PP (prompt processing) | Медленнее | Быстрее (за счёт speculative) |
| VRAM overhead | Меньше | Немного больше (draft tokens) |
| Acceptance rate | N/A | ~60-75% на Q4, выше на Q6/Q8 |
— Рекомендация по MTP: —
- Draft-N = 2-3: оптимальный баланс. Draft-N=6 даёт diminishing returns
- На слабых GPU (8GB) MTP может не дать прироста из-за VRAM bottleneck
- Для агентов PP важнее TG — MTP ускоряет оба процесса
— — — — — — — —
5. Censored vs Uncensored (Heretic / Abliterated)
— 官方版 (Censored): —
- Стандартные safety-фильтры Qwen
- Лучше для production и публичных приложений
- Меньше галлюцинаций на sensitive topics
— Heretic / Abliterated (huihui-ai, SC117): —
- Safety-фильтры убраны через abliteration (не fine-tuning)
- Сильные стороны: более креативный, меньше refusals, лучше для coding agent (реже "отказывается" выполнять задачу)
- Слабые стороны: может генерировать sensitive/controversial контент, чуть больше галлюцинаций на factual topics
- Для Hermes Agent: Uncensored обычно предпочтительнее — агенту нужно меньше отказов при tool calls
— Рекомендация: —
Для агентов (Hermes Desktop) →
Uncensored/Abliterated Для чата/общения →
Censored Для coding →
Heretic (меньше refusals на code tasks)
— — — — — — — —
6. Производительность на потребительских GPU
— RTX 3070 / 8GB VRAM —
| Квантование | Контекст | Скорость | Примечания |
| Q4_K_S (APEX/I-Compact) | 262K | ~40 tok/s | С MTP, все experts на CPU |
| UD-Q4_K_M | 128K | ~30 tok/s | Без MTP |
| Q3_K_XL | 262K | ~50+ tok/s | Но качество ниже |
— RTX 3080 / 12GB VRAM —
| Квантование | Контекст | Скорость | Примечания |
| Q4_K_M | 128K | ~40 tok/s | Все слои на GPU |
| Q5_K_S | 64K | ~30 tok/s | Частично на CPU |
— RTX 4090 / 24GB VRAM —
| Квантование | Контекст | Скорость | Примечания |
| Q5_K_M | 128K | ~60-70 tok/s | Полностью на GPU |
| Q6_K | 64K | ~50 tok/s | Максимальное качество |
— RTX 3060 / 12GB VRAM (ваша карта) —
| Квантование | Контекст | Ожидаемая скорость | Примечания |
| Q4_K_M | 128K | ~35-45 tok/s | Рекомендуемый выбор |
| Q4_K_S (APEX) | 262K | ~40+ tok/s | С MTP, меньше VRAM |
| Q5_K_M | 64K | ~30-35 tok/s | Частично на CPU |
| UD-Q4_K_XL | 128K | ~35-40 tok/s | Unsloth Dynamic Quantization |
— Критические настройки для consumer GPU: —
# Оптимальный запуск через llama.cpp (llama-server) для RTX 3060 12GB:
llama-server \
--model Qwen3.6-35B-A3B-Q4_K_M.gguf \
-ngl 38 \ # 38 из 40 слоёв на GPU (оставляем 2 для KV-cache)
-c 131072 \ # 128K контекста
--ctx-size 131072 \
-fa on \ # Flash Attention
--no-mmap \ # Загружаем всё в RAM, не используем swap
-t 16 \ # Threads (подставьте ваше число ядер CPU)
--cache-type-k q8_0 \ # KV cache квантование
--cache-type-v q8_0 \
--spec-type draft-mtp \
--spec-draft-n-max 3 \
--jinja \ # Jinja template (обязательно для Qwen3.6)
-np 1 \ # Parallel = 1 (важно!)
--ncmoe 20 \ # CPU MOE threads
--temp 0.6 \
--top-k 20 \
--top-p 0.95 \
--presence-penalty 1.5 \
--repeat-penalty 1.0
— Важные нюансы: —
-ngl (GPU layers):[/b] Не ставьте 99! Для MoE моделей нужно оставлять VRAM для KV-cache. Оптимально: ~38 из 40 на RTX 3060, ~25-30 на RTX 3070/8GB- Experts on CPU: Все эксперты (experts) должны быть на CPU, не на GPU. Иначе VRAM переполняется и скорость падает в 2-3 раза
--no-mmap:[/b] Обязательно для скорости. Модель грузится целиком в RAM- KV cache Q8_0: Дешёвое улучшение (Q8_0 vs Q4_0), почти не влияет на качество, но ускоряет PP
- Flash Attention (
-fa on):[/b] Критично для длинного контекста - Parallel = 1: Для MoE моделей parallel > 1 может замедлять из-за routing overhead
— — — — — — — —
7. Лучшие практики для Hermes Agent Desktop
— Конфигурация модели в Hermes: —
# В config.yaml или через hermes tools:
model:
provider: llama.cpp (через llama-server)
model_path: "путь/к/Qwen3.6-35B-A3B-Q4_K_M.gguf"
llama_server:
host: localhost
port: 8000
ngl: 38
ctx_size: 131072
flash_attn: true
no_mmap: true
cache_type_k: q8_0
cache_type_v: q8_0
spec_type: draft-mtp
spec_draft_n_max: 3
jinja: true
parallel: 1
— Рекомендации от пользователей Hermes + Qwen3.6: —
- Twin setup (27B + 35B-A3B): Один пользователь на NVIDIA Forums запускает Qwen3.6-27B (dense) для deep thinking через vLLM, а 35B-A3B для cron jobs и агентов через llama.cpp. 27B dense лучше для сложных рассуждений, 35B-A3B быстрее для routine tasks.
- MTP acceptance rate: Draft-N = 2-3 оптимально. Draft-N=6 не даёт практической пользы на consumer GPU — уже достаточно быстро без MTP.
- Context length для агентов: Минимум 128K. Пользователи отмечают, что с меньшим контекстом агенту приходится часто компрессить контекст, теряя информацию.
- Thinking preservation: Включён по умолчанию. Требует минимум 128K контекста. Отключение экономит ~30-40% токенов контекста.
- Для cron jobs: 35B-A3B справляется с инструкциями в 2000+ строк без ошибок. Это подтверждено пользователями Hermes Desktop.
- Не использовать для deep thinking: Модель хороша для light investigations и following workflows от более умных моделей (например, Qwen3.6-27B или GPT-5). Для сложных математических рассуждений лучше dedicated model.
— — — — — — — —
8. Сильные и слабые стороны модели
— ✅ Сильные стороны: —
- Agentic coding: SWE-bench Verified 73.4%, Terminal-Bench 2.0 51.5% — лучшие в классе для open-source MoE
- Длинный контекст: Родная поддержка 262K, DeltaNet архитектура O(n)
- Мультимодальность: Встроенный vision encoder (текст + изображения + видео)
- Thinking preservation: Сохраняет reasoning между turns — критично для агентов
- Efficiency: 3B активных параметров = быстрая генерация на consumer GPU
- Инструменты/Tool calling: Отличная поддержка MCP, function calling
- Математика: AIME 2026 — 92.7%, HMMT — 83-90%
- Китайский язык: C-Eval 90.5%, отличная поддержка китайского
- Apache 2.0 лицензия: Коммерческое использование разрешено
— ❌ Слабые стороны: —
- SWE-bench regression: 73.4% vs 75.0% у Qwen3.5-35B-A3B на Verified — slight regression
- Routing overhead: MoE routing добавляет задержку по сравнению с dense моделями эквивалентного качества
- Thinking preservation cost: Занимает ~50% доступного контекста
- VRAM requirements: Даже при 3B active, full model требует много VRAM для KV-cache на длинном контексте
- Infinite loops: Как и все Qwen-модели, склонна к зацикливанию при low quantization (Q3 и ниже)
- Не для deep thinking: Лучше использовать как executor workflow от более умной модели
- Single GPU limitation: На одной RTX 3060 полный контекст 262K требует ~40-50GB RAM
— — — — — — — —
9. Рекомендации по выбору квантования
— Для RTX 3060 12GB (ваша конфигурация): —
| Приоритет | Квантование | Размер | Контекст | Скорость | Качество |
| ⭐ Лучший баланс | Q4_K_M (bartowski) | 22.3 GB | 128K | ~35-45 tok/s | Хорошее |
| ⭐ Максимальное качество | Q6_K (bartowski) | 30.9 GB | 64K | ~30-35 tok/s | Почти идеальное |
| ⭐ Для полного контекста | APEX I-Compact (SC117) | ~18 GB | 262K | ~40+ tok/s | Умеренное |
| ⭐ С MTP ускорением | UD-Q4_K_XL (Unsloth) | ~23 GB | 128K | ~40-50 tok/s | Хорошее |
— Итоговая рекомендация: —