Qwen3.6-35B-A3B — исследование

[Dmitronik]

Qwen3.6-35B-A3B — Полное исследование для локального запуска на потребительском GPU

Дата исследования: 2026-08-11 
Активная модель в сессии: qwen3.6-35b-a3b-uncensored-hauhaucs-aggressive (LMStudio)

— — — — — — — —

1. Архитектура и спецификации модели

Параметр	Значение
Общее число параметров	35 млрд
Активных на токен	~3 млрд (MoE: 256 экспертов, 8 routed + 1 shared)
Архитектура	Гибридная MoE: Gated DeltaNet (75% слоёв — линейный attention) + стандартный Gated Attention (25%)
Слоёв	40
Hidden dimension	2048
Attention heads	16 Q / 2 KV (GQA)
RoPE theta	10,000,000
Нормализация	RMSNorm
Activation	SwiGLU
Токенизатор	VOCAB_SIZE: 248,320
Родной контекст	262,144 токенов (до ~1M с YaRN)
Лицензия	Apache 2.0
Дата выхода	15 апреля 2026

— Ключевые особенности архитектуры —

• Gated DeltaNet: 75% слоёв используют линейный attention (Gated DeltaNet с 32 head для values, 16 для QK), что даёт O(n) сложность по длине контекста вместо O(n²). Это критично для длинного контекста.
• MoE routing: 256 экспертов, на каждый токен активируется только 8 routed + 1 shared = 9 экспертов. Это обеспечивает высокую эффективность при инференсе.
• Thinking preservation: Модель сохраняет reasoning traces между turns — важно для агентов (Hermes Agent, OpenClaw).
• MTP (Multi-Token Prediction): Обучена с NEXTN speculative decoding — ускоряет генерацию.

— — — — — — — —

2. Доступные варианты от провайдеров

— 2.1 bartowski (GGUF через llama.cpp) —

Репозиторий:

Код Выделить Развернуть

bartowski/Qwen_Qwen3.6-35B-A3B-GGUF 
llama.cpp build: b9222 
Калибровка: imatrix на кастомном датасете

Квантование	Размер файла	Качество	Рекомендация
bf16	71.07 GB	Максимальное	Для серверов с достаточной RAM/VRAM
Q8_0	37.81 GB	Очень высокое	Избыточно, но для KV-cache полезно
Q6_K_L	31.19 GB	Почти идеальное	★ Рекомендовано для качества
Q6_K	30.95 GB	Почти идеальное	★ Рекомендовано для качества
Q5_K_L	26.23 GB	Высокое	★ Рекомендовано (баланс)
Q5_K_M	25.91 GB	Высокое	★ Рекомендовано (универсальный выбор)
Q5_K_S	25.05 GB	Высокое	★ Рекомендовано
Q4_1	22.87 GB	Хорошее	Legacy формат, лучше для Apple Silicon
Q4_K_L	22.66 GB	Хорошее	★ Рекомендовано (баланс размер/качество)
Q4_K_M	22.29 GB	Хорошее	★ По умолчанию для большинства случаев
Q4_K_S	21.49 GB	Умеренное	★ Рекомендовано (экономия места)
Q4_0	20.84 GB	Хорошее	Legacy, онлайн-репакинг для ARM/AVX
IQ4_NL	20.75 GB	Умеренное	Лучше чем IQ4_XS, репакинг на CPU
IQ4_XS	19.70 GB	Умеренное	★ Рекомендовано (лучший размер/качество для NVIDIA)

— 2.2 Unsloth (GGUF + MTP + Dynamic Quantization v2.0) —

Репозиторий:

Код Выделить Развернуть

unsloth/Qwen3.6-35B-A3B-GGUF и

Код Выделить Развернуть

unsloth/Qwen3.6-35B-A3B-MTP-GGUF 
Особенности:

• Dynamic Quantization v2.0 (UD) — адаптивное квантование на уровне тензоров
• MTP-версии с поддержкой speculative decoding (
  Код Выделить Развернуть
  --spec-type draft-mtp)
• На RTX 6000: до 240 tok/s генерации для 35B-A3B

— 2.3 huihui-ai (Abliterated / Uncensored) —

Репозиторий:

Код Выделить Развернуть

huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated-MTP-GGUF 
Метод: Abliteration (remove-refusals) — убирает safety-фильтры без переобучения

• Поддержка MTP (
  Код Выделить Развернуть
  --spec-draft-n-max 6)
• Пример запуска:
  Код Выделить Развернуть
  llama-cli -ngl 99 -c 262144 --spec-type draft-mtp

— 2.4 NVIDIA (NVFP4) —

Репозиторий:

Код Выделить Развернуть

nvidia/Qwen3.6-35B-A3B-NVFP4 

• FP8/NVFP4 квантование с fine-grained quantization (128-block granularity)
• ~50% экономия VRAM от FP32
• Для vLLM:
  Код Выделить Развернуть
  --moe-backend marlin --kv-cache-dtype fp8

— 2.5 LM Studio Community —

Репозиторий:

Код Выделить Развернуть

lmstudio-community/Qwen3.6-35B-A3B-GGUF 

• GGUF от команды LM Studio на базе llama.cpp b8814
• Оптимизирован для прямого использования в LM Studio / Pi / Hermes Agent

— 2.6 Byteshape (ShapeLearn) —

Репозиторий:

Код Выделить Развернуть

byteshape/Qwen3.6-35B-A3B-GGUF 

• ShapeLearn — учит оптимальный datatype для каждого тензора
• Работает на уровне ниже стандартных GGUF квантований
• Метки: IQ4_XS, Q3_K_S и т.д. (не совпадают с обычными GGUF тегами)

— 2.7 SC117 / Heretic (APEX Dynamic Quantization) —

Модель:

Код Выделить Развернуть

SC117/Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-APEX-GGUF 

• APEX — динамическое квантование от SC117
• Uncensored + Heretic (снят safety) + MTP + Preserve thinking
• Размер меньше UD-IQ4_XXS, позволяет полный контекст 262K на 8GB VRAM

— — — — — — — —

3. Производительность длинного контекста (64K / 128K / 256K)

— Needle-in-Haystack и Retention —

• Родной контекст: 262,144 токенов — модель обучена с этим лимитом
• С YaRN: до ~1,010,000 токенов (static extension)
• Рекомендация Qwen: минимум 128K контекста для сохранения thinking capabilities

— Практические наблюдения из сообщества: —

Контекст	Наблюдения
64K	Работает стабильно, но для агентов маловато. Пользователи отмечают, что 32-64K недостаточно для full agentic coding
128K	Оптимальный баланс. Большинство пользователей ставят именно здесь. Thinking preservation работает хорошо
256K	Модель справляется отлично — контекст "очень дешёвый" на Qwen. Но требует много RAM (40-60GB)
262K полный	Работает, но pp (prompt processing) замедляется. Для агентов PP важнее TG

— Ключевой вывод: —

Qwen3.6-35B-A3B отлично работает с длинным контекстом. DeltaNet архитектура даёт O(n) сложность, что означает линейное замедление вместо квадратичного. Пользователи подтверждают, что модель "не теряет факты" на 128K+ контексте.

— — — — — — — —

4. Сравнение MTP vs Classical (без MTP)

— MTP (Multi-Token Prediction / Speculative Decoding) —

Как работает: Модель предсказывает несколько токенов за шаг, затем верифицирует их. Принятые токены не требуют отдельного forward pass.

Настройка для llama.cpp:

Код Выделить Развернуть

--spec-type draft-mtp --spec-draft-n-max 4

Для vLLM/SGLang:

Код Выделить Развернуть

# vLLM
--speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}'

# SGLang
--speculative-algo NEXTN --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4


— Результаты из практики: —

Параметр	Без MTP	С MTP
TG (token generation)	~25-30 tok/s (на RTX 3070/8GB)	~35-40+ tok/s (зависит от acceptance rate)
PP (prompt processing)	Медленнее	Быстрее (за счёт speculative)
VRAM overhead	Меньше	Немного больше (draft tokens)
Acceptance rate	N/A	~60-75% на Q4, выше на Q6/Q8

— Рекомендация по MTP: —

• Draft-N = 2-3: оптимальный баланс. Draft-N=6 даёт diminishing returns
• На слабых GPU (8GB) MTP может не дать прироста из-за VRAM bottleneck
• Для агентов PP важнее TG — MTP ускоряет оба процесса

— — — — — — — —

5. Censored vs Uncensored (Heretic / Abliterated)

— 官方版 (Censored): —

• Стандартные safety-фильтры Qwen
• Лучше для production и публичных приложений
• Меньше галлюцинаций на sensitive topics

— Heretic / Abliterated (huihui-ai, SC117): —

• Safety-фильтры убраны через abliteration (не fine-tuning)
• Сильные стороны: более креативный, меньше refusals, лучше для coding agent (реже "отказывается" выполнять задачу)
• Слабые стороны: может генерировать sensitive/controversial контент, чуть больше галлюцинаций на factual topics
• Для Hermes Agent: Uncensored обычно предпочтительнее — агенту нужно меньше отказов при tool calls

— Рекомендация: —

Для агентов (Hermes Desktop) → Uncensored/Abliterated 
Для чата/общения → Censored 
Для coding → Heretic (меньше refusals на code tasks)

— — — — — — — —

6. Производительность на потребительских GPU

— RTX 3070 / 8GB VRAM —

Квантование	Контекст	Скорость	Примечания
Q4_K_S (APEX/I-Compact)	262K	~40 tok/s	С MTP, все experts на CPU
UD-Q4_K_M	128K	~30 tok/s	Без MTP
Q3_K_XL	262K	~50+ tok/s	Но качество ниже

— RTX 3080 / 12GB VRAM —

Квантование	Контекст	Скорость	Примечания
Q4_K_M	128K	~40 tok/s	Все слои на GPU
Q5_K_S	64K	~30 tok/s	Частично на CPU

— RTX 4090 / 24GB VRAM —

Квантование	Контекст	Скорость	Примечания
Q5_K_M	128K	~60-70 tok/s	Полностью на GPU
Q6_K	64K	~50 tok/s	Максимальное качество

— RTX 3060 / 12GB VRAM (ваша карта) —

Квантование	Контекст	Ожидаемая скорость	Примечания
Q4_K_M	128K	~35-45 tok/s	Рекомендуемый выбор
Q4_K_S (APEX)	262K	~40+ tok/s	С MTP, меньше VRAM
Q5_K_M	64K	~30-35 tok/s	Частично на CPU
UD-Q4_K_XL	128K	~35-40 tok/s	Unsloth Dynamic Quantization

— Критические настройки для consumer GPU: —

Код Выделить Развернуть

# Оптимальный запуск через llama.cpp (llama-server) для RTX 3060 12GB:
llama-server \
  --model Qwen3.6-35B-A3B-Q4_K_M.gguf \
  -ngl 38 \          # 38 из 40 слоёв на GPU (оставляем 2 для KV-cache)
  -c 131072 \        # 128K контекста
  --ctx-size 131072 \
  -fa on \           # Flash Attention
  --no-mmap \        # Загружаем всё в RAM, не используем swap
  -t 16 \            # Threads (подставьте ваше число ядер CPU)
  --cache-type-k q8_0 \   # KV cache квантование
  --cache-type-v q8_0 \
  --spec-type draft-mtp \
  --spec-draft-n-max 3 \
  --jinja \          # Jinja template (обязательно для Qwen3.6)
  -np 1 \            # Parallel = 1 (важно!)
  --ncmoe 20 \       # CPU MOE threads
  --temp 0.6 \
  --top-k 20 \
  --top-p 0.95 \
  --presence-penalty 1.5 \
  --repeat-penalty 1.0


— Важные нюансы: —

• Код Выделить Развернуть
  -ngl (GPU layers):[/b] Не ставьте 99! Для MoE моделей нужно оставлять VRAM для KV-cache. Оптимально: ~38 из 40 на RTX 3060, ~25-30 на RTX 3070/8GB
• Experts on CPU: Все эксперты (experts) должны быть на CPU, не на GPU. Иначе VRAM переполняется и скорость падает в 2-3 раза
• Код Выделить Развернуть
  --no-mmap:[/b] Обязательно для скорости. Модель грузится целиком в RAM
• KV cache Q8_0: Дешёвое улучшение (Q8_0 vs Q4_0), почти не влияет на качество, но ускоряет PP
• Flash Attention (
  Код Выделить Развернуть
  -fa on):[/b] Критично для длинного контекста
• Parallel = 1: Для MoE моделей parallel > 1 может замедлять из-за routing overhead

— — — — — — — —

7. Лучшие практики для Hermes Agent Desktop

— Конфигурация модели в Hermes: —

Код Выделить Развернуть

# В config.yaml или через hermes tools:
model:
  provider: llama.cpp (через llama-server)
  model_path: "путь/к/Qwen3.6-35B-A3B-Q4_K_M.gguf"
 
llama_server:
  host: localhost
  port: 8000
  ngl: 38
  ctx_size: 131072
  flash_attn: true
  no_mmap: true
  cache_type_k: q8_0
  cache_type_v: q8_0
  spec_type: draft-mtp
  spec_draft_n_max: 3
  jinja: true
  parallel: 1


— Рекомендации от пользователей Hermes + Qwen3.6: —

• Twin setup (27B + 35B-A3B): Один пользователь на NVIDIA Forums запускает Qwen3.6-27B (dense) для deep thinking через vLLM, а 35B-A3B для cron jobs и агентов через llama.cpp. 27B dense лучше для сложных рассуждений, 35B-A3B быстрее для routine tasks.

• MTP acceptance rate: Draft-N = 2-3 оптимально. Draft-N=6 не даёт практической пользы на consumer GPU — уже достаточно быстро без MTP.

• Context length для агентов: Минимум 128K. Пользователи отмечают, что с меньшим контекстом агенту приходится часто компрессить контекст, теряя информацию.

• Thinking preservation: Включён по умолчанию. Требует минимум 128K контекста. Отключение экономит ~30-40% токенов контекста.

• Для cron jobs: 35B-A3B справляется с инструкциями в 2000+ строк без ошибок. Это подтверждено пользователями Hermes Desktop.

• Не использовать для deep thinking: Модель хороша для light investigations и following workflows от более умных моделей (например, Qwen3.6-27B или GPT-5). Для сложных математических рассуждений лучше dedicated model.

— — — — — — — —

8. Сильные и слабые стороны модели

— ✅ Сильные стороны: —

• Agentic coding: SWE-bench Verified 73.4%, Terminal-Bench 2.0 51.5% — лучшие в классе для open-source MoE
• Длинный контекст: Родная поддержка 262K, DeltaNet архитектура O(n)
• Мультимодальность: Встроенный vision encoder (текст + изображения + видео)
• Thinking preservation: Сохраняет reasoning между turns — критично для агентов
• Efficiency: 3B активных параметров = быстрая генерация на consumer GPU
• Инструменты/Tool calling: Отличная поддержка MCP, function calling
• Математика: AIME 2026 — 92.7%, HMMT — 83-90%
• Китайский язык: C-Eval 90.5%, отличная поддержка китайского
• Apache 2.0 лицензия: Коммерческое использование разрешено

— ❌ Слабые стороны: —

• SWE-bench regression: 73.4% vs 75.0% у Qwen3.5-35B-A3B на Verified — slight regression
• Routing overhead: MoE routing добавляет задержку по сравнению с dense моделями эквивалентного качества
• Thinking preservation cost: Занимает ~50% доступного контекста
• VRAM requirements: Даже при 3B active, full model требует много VRAM для KV-cache на длинном контексте
• Infinite loops: Как и все Qwen-модели, склонна к зацикливанию при low quantization (Q3 и ниже)
• Не для deep thinking: Лучше использовать как executor workflow от более умной модели
• Single GPU limitation: На одной RTX 3060 полный контекст 262K требует ~40-50GB RAM

— — — — — — — —

9. Рекомендации по выбору квантования

— Для RTX 3060 12GB (ваша конфигурация): —

Приоритет	Квантование	Размер	Контекст	Скорость	Качество
⭐ Лучший баланс	Q4_K_M (bartowski)	22.3 GB	128K	~35-45 tok/s	Хорошее
⭐ Максимальное качество	Q6_K (bartowski)	30.9 GB	64K	~30-35 tok/s	Почти идеальное
⭐ Для полного контекста	APEX I-Compact (SC117)	~18 GB	262K	~40+ tok/s	Умеренное
⭐ С MTP ускорением	UD-Q4_K_XL (Unsloth)	~23 GB	128K	~40-50 tok/s	Хорошее

— Итоговая рекомендация: —

[Dmitronik]

Для вашего случая (RTX 3060 + Hermes Agent Desktop):

• Квантование:
  Код Выделить Развернуть
  Q4_K_M от bartowski — лучший баланс между качеством и скоростью
• Или APEX I-Compact от SC117, если нужен полный контекст 262K
• MTP: Включить с
  Код Выделить Развернуть
  --spec-draft-n-max 3 для ускорения
• Контекст: 128K (131072 токенов) — оптимально для агентов
• Uncensored/Heretic: Да, для Hermes Agent лучше uncensored (меньше refusals)
• ngl: 38 из 40 слоёв на GPU
• KV cache: Q8_0 для обоих типов
• Flash Attention: Включить (
  Код Выделить Развернуть
  -fa on)

— — — — — — — —

10. Источники и цитаты

#	Источник	Тип
[1]	https://qwen.ai/blog?id=qwen3.6-35b-a3b	Official blog (Qwen Team)
[2]	https://huggingface.co/Qwen/Qwen3.6-35B-A3B	HuggingFace model card
[3]	https://apxml.com/models/qwen36-35b-a3b	Technical specifications
[4]	https://hackernoon.com/qwen36-35b-a3b-review-a-moe-coding-model-built-for-production	Expert review (HackerNoon)
[5]	https://huggingface.co/bartowski/Qwen_Qwen3.6-35B-A3B-GGUF	Bartowski GGUF quants
[6]	https://huggingface.co/unsloth/Qwen3.6-35B-A3B-MTP-GGUF	Unsloth MTP GGUF
[7]	https://huggingface.co/huihui-ai/Huihui-Qwen3.6-35B-A3B-abliterated-MTP-GGUF	Abliterated uncensored
[8]	https://www.reddit.com/r/LocalLLM/comments/1szeghg/	Reddit user experience (AMD 7700XT, 32GB DDR4)
[9]	https://www.reddit.com/r/LocalLLaMA/comments/1spdvpo/	Reddit M5 Max 128GB experience
[10]	https://forum.gamer.com.tw/C.php?bsn=60030&snA=685572	Taiwanese forum (RTX 3070, 8GB)
[11]	https://cloud.tencent.com/developer/article/2689925	Chinese blog (6GB VRAM deployment)
[12]	https://news.ycombinator.com/item?id=48557467	Hacker News discussion
[13]	https://unsloth.ai/docs/models/qwen3.6	Unsloth documentation
[14]	https://blog.alexellis.io/local-ai-is-not-opus	Alex Ellis production experience (RTX 6000 Pro)

— — — — — — — —

Исследование проведено на основе 20+ источников: официальная документация Qwen, HuggingFace репозитории (bartowski, unsloth, huihui-ai, SC117), Reddit r/LocalLLM и r/LocalLLaMA, Hacker News, китайские форумы и блоги, NVIDIA Developer Forums.