Qwen3.6-35B-A3B: RTX 3060 деплой

[Dmitronik]

Qwen3.6-35B-A3B — Комплексный анализ для локального деплоя на RTX 3060 12GB

Executive Summary

Qwen3.6-35B-A3B — это мультимодальная MoE-модель от Alibaba Qwen, выпущенная 16 апреля 2026 года под лицензией Apache 2.0 [HuggingFace]. Она содержит 35 млрд параметров, но активирует только ~3 млрд на токен благодаря sparse Mixture-of-Experts архитектуре с 256 экспертами (8 routed + 1 shared active) [Qwen HF Blog]. Модель поддерживает нативный контекст 262,144 токенов (расширяемый до ~1M через YaRN), что делает её одной из лучших для длинного контекста в своём классе [HuggingFace].

Ключевые выводы:

• Для RTX 3060 12GB оптимальна квантизация Q4_K_M от bartowski (25.9 GB) или экспериментальная pjsmith 2.67bpw (~18 GB, заточена под 12GB VRAM) [bartowski GGUF] [pjsmith HF].
• MTP-версии дают +10–24% throughput на RTX 3090/4090, но на RTX 3060 выигрыш спорный — некоторые пользователи отмечают падение token generation rate при полном контексте [Baha Forum] [Zennen].
• Uncensored HauhauCS-Aggressive версия показывает 88% снижение отказов при KL divergence 0.0015 от оригинала, сохраняя качество кода и reasoning [protoLabsAI HF] [HackerNoon].
• На LMSYS Qwen3.6-35B-A3B не имеет достаточного количества голосов для рейтинга, но на BenchLM занимает #115 из 216 с общим баллом 50.49/100 [BenchLM].
• Главная слабость: benchmark scores Qwen3.6-35B-A3B ниже, чем у Qwen3.5-35B-A3B на некоторых задачах (HumanEval: 93.29% vs 98.78%), что указывает на регрессию в coding при переходе к 3.6 [Unsloth Discussion].

— — — — — — — —

Research Methodology

• Языки поиска: English, Chinese (Baidu, Zhihu, CSDN), Russian (forum.gamer.com.tw)
• Количество поисковых запросов: 15+ уникальных запросов в 7 параллельных батчах
• Источники извлечены и проанализированы: HuggingFace (Qwen official, bartowski, unsloth, pjsmith, protoLabsAI), LocalBench Substack benchmark, DEV.to review, HackerNoon reviews, Unsloth docs, BenchLM.ai, OpenRouter, Zhihu, CSDN, Baha Forum, Reddit r/LocalLLaMA (via search snippets), Hacker News, Simon Willison blog
• Инструменты: web_search, web_extract, read_file

— — — — — — — —

Detailed Findings by Topic

— 1. Архитектура и ключевые характеристики —

Модель: Qwen3.6-35B-A3B (Mixture-of-Experts)

• Total parameters: 35 billion [Qwen HF]
• Active parameters per token: ~3 billion [Qwen HF Blog]
• Layers: 40 transformer layers [Medium Data Science]
• Hidden dimension: 2048 [Medium Data Science]
• Experts: 256 total, 8 routed + 1 shared active per forward pass [Medium Data Science]
• Attention hybrid: Gated DeltaNet (32 linear attention heads for V, 16 for QK) + standard gated attention (16 heads for Q, 2 for KV) в пропорции ~3:1 по слоям [HackerNoon Uncensored]
• RoPE dimension: 64 [Medium Data Science]
• Context window: 262,144 tokens native, extendable to ~1,010,000 via YaRN [Qwen HF Blog] [Medium Data Science]
• License: Apache 2.0 (commercially free) [DEV.to Review]
• Released: April 16, 2026 [DEV.to Review]

Ключевая инновация — Thinking Preservation: модель сохраняет reasoning traces между turns на уровне архитектуры, а не через «brute-force context stuffing». Это снижает расходование токенов и повышает consistency в agentic workflows [BuildFastWithAI].

— 2. Long Context & Needle-in-Haystack Performance —

Нативный контекст: 262K токенов. Официальная рекомендация Qwen — использовать минимум 128K context для сохранения thinking capabilities [Qwen HF].

YaRN extension: до ~1M токенов поддерживается в transformers, vLLM, SGLang, ktransformers [Qwen HF].

Бенчмарки длинного контекста:

• На BenchLM модель имеет 262K context window подтверждённый официально [BenchLM]
• Пользователь на Baha Forum (RTX 3070 8GB) открыл полный контекст 262,144 с APEX quantization и достиг ~40 t/s в agent mode [Baha Forum]
• Другой пользователь (RTX 3070 + AMD 3700X + 32GB RAM) запустил 262K context с llama.cpp параметром
  Код Выделить Развернуть
  -c 262144 и достиг ~40 t/s с MTP [Baha Forum]
• Пользователь Reddit (8GB VRAM + 32GB RAM) запустил ~190K context [Reddit search snippet]

Needle-in-haystack: Прямых опубликованных needle-in-haystack тестов для Qwen3.6-35B-A3B не найдено. Однако косвенные данные:

• Модель показывает 73.4% на SWE-bench Verified — задача, требующая понимания больших кодовых баз [Qwen HF]
• 80.4% на LiveCodeBench v6 — подтверждает strong code understanding [Qwen HF]
• Пользователи отмечают, что при полном контексте модель «не теряет начало и конец документа» в задачах навигации по репозиториям [CNBlogs Review]

— — — — — — — —

[Dmitronik]

— 3. Quantization: bartowski vs unsloth vs другие —

LocalBench Substack benchmark измерил 64 GGUF quantizations от 6 uploaders против BF16 reference на ~250,000 токенах (coding, chat, tool calling, science, non-Latin scripts, long documents) [LocalBench]:

Производитель	Кол-во квантов	Позиции в Pareto frontier	Особенности
unsloth	22 quants	14 из 26 позиций (доминирует)	Dynamic 2.0 GGUF, UD-серия, MTP support [LocalBench] [Unsloth Docs]
bartowski	27 quats	Много позиций в frontier	imatrix quantizations, K-quants стандартные [bartowski HF]
AesSedai	4 quats	4 позиции (fill size gaps)	Заполняет пробелы между unsloth UD quants [LocalBench]
lmstudio-community	3 quats	0 позиций (never on frontier)	—
mudler (APEX)	7 quats	0 позиций (never on frontier)	APEX dynamic quantization, smaller footprint [Baha Forum]
ggml-org	1 quant	Q8_0 на frontier (KL 0.069)	Стандартный llama.cpp [LocalBench]

Ключевые выводы по квантизации:

• Qwen3.6-35B-A3B quantizes significantly better than Qwen3.5-35B-A3B. Q8_0 имеет KL 0.069 против 0.121 для предшественника [LocalBench]. Это означает, что квантование 3.6 серии менее «болезненно» для качества.
• Tool calling — самая уязвимая категория при квантизации. На Q8_0 KL tool calling = 0.177 (хуже чем long documents при 0.121) [LocalBench]. Это необычно для Qwen-моделей.
• Даже UD-IQ1_M (10 GB) сохраняет 86.9% top-1 accuracy — впечатляющая устойчивость к экстремальному квантованию [LocalBench].
• Для RTX 3060 12GB:
  
  • bartowski Q4_K_M (25.9 GB) — «High quality, recommended» [bartowski HF]
  • pjsmith 2.67bpw experimental quant (~18 GB) — заточен специально под 12GB VRAM RTX 3060 [pjsmith HF]
  • Q5_K_M (25.9-26.2 GB) — «High quality, recommended» [bartowski HF]
  • Q6_K (30.95 GB) — «Very high quality, near perfect, recommended» [bartowski HF], но может не влезть целиком в 12GB VRAM без CPU offload

— 4. MTP (Multi-Token Prediction): ускорение vs классика —

MTP позволяет speculative decoding для Qwen3.6 с ~1.4-2.2x faster generation без потери accuracy [Unsloth Docs].

Бенчмарки MTP:

Платформа	Без MTP	С MTP	Улучшение
RTX 6000 (Unsloth)	~175 t/s	240 t/s	+37% [Unsloth Docs]
Apple M5 Max (LM Studio)	~89-90 t/s avg	~97.7 t/s avg	+8.8% [daily.dev]
RTX 3090/4090	53 t/s avg	62 t/s avg	+17% [Zenn]

Нюансы MTP на потребительском железе:

• Пользователь RTX 3070 на Baha Forum: с MTP tg ~40 t/s, без MTP tg падает до ~25 t/s. Но при полном контексте MTP draft acceptance rate деградирует [Baha Forum]
• Другой пользователь (RTX 3070): «tg может быть выше с MTP, но pp (prompt processing) важнее для agent mode» — в итоге выбрал без MTP [Baha Forum]
• На GB10 (Groq): +24% throughput и -56% TTFT при 16-concurrent stress test [DocAI Blog]

Рекомендация по MTP: на RTX 3060 с ограниченным VRAM — экспериментировать.

Код Выделить Развернуть

--spec-draft-n-max между 2-6: 6 для достаточной памяти, 2 для экономии [Zenn]. На практике для agent mode с полным контекстом без-MTP может быть стабильнее.

— 5. Censored vs Uncensored (HauhauCS-Aggressive) —

protoLabsAI/Qwen3.6-35B-A3B-uncensored-heretic-FP8:

• Убраны «rejections, objections, pushbacks, lecturing, censorship, softening and deflections» [protoLabsAI HF]
• 88% reduction in refusals vs original Qwen3.6-35B-A3B на кастомном 100-prompt eval [protoLabsAI HF]
• KL divergence от оригинала: 0.0015 — практически идентичное поведение в non-refusal задачах [protoLabsAI HF]

HauhauCS-Aggressive variant:

• «Fully unlocked, designed for direct complete responses» [OrcaRouter]
• 0/465 refusals reported [HackerNoon Uncensored]
• Доступен в GGUF форматах (APEX, UD) от SC117 и других uploaders

Сравнение: Uncensored версии сохраняют качество reasoning и coding (KL 0.0015), но могут быть более «verbose» и иногда добавлять brief disclaimers [protoLabsAI HF]. Для agentic coding и Hermes Agent — uncensored предпочтительнее, так как модель реже прерывает workflow refusal-ами.

— — — — — — — —

[Dmitronik]

— 6. Benchmark Scores (Official Qwen Data) —

Benchmark	Qwen3.5-27B	Qwen3.5-35B-A3B	Qwen3.6-35B-A3B	Gemma4-31B	Claude-Sonnet-4.5
SWE-bench Verified	75.0	70.0	73.4 [Qwen HF]	52.0	—
SWE-bench Multilingual	69.3	60.3	67.2 [Qwen HF]	51.7	—
SWE-bench Pro	51.2	44.6	49.5 [Qwen HF]	35.7	—
Terminal-Bench 2.0	41.6	40.5	51.5 [Qwen HF]	42.9	—
LiveCodeBench v6	80.7	74.6	80.4 [Qwen HF]	80.0	—
MMLU-Pro	86.1	85.3	85.2 [Qwen HF]	85.2	—
GPQA	85.5	84.2	86.0 [Qwen HF]	84.3	—
C-Eval (Chinese)	90.5	90.2	90.0 [Qwen HF]	82.6	—

Регрессии Qwen3.6 vs Qwen3.5:

• HumanEval pass@1: Qwen3.5 UD-Q6_K_XL = 98.78%, Qwen3.6 UD-Q6_K_XL = 93.29% [Unsloth Discussion]
• Это подтверждается и на BenchLM: Qwen3.5-27B UD_Q4_K_XL имеет score 73.6 vs Qwen3.6-35B-A3B 74.5 (незначительно лучше) [Unsloth Discussion]

Вывод: Qwen3.6-35B-A3B — не прямой апгрейд по coding к Qwen3.5-35B-A3B, но превосходит его в multimodal и reasoning задачах. Для agentic coding с tool calling — Qwen3.6 стабильнее (ниже rate refusal).

— 7. User Reviews & Community Feedback —

Reddit r/LocalLLaMA:

• «Qwen 3.6 is the first local model that actually feels worth the effort for me» [Reddit] — высокий энтузиазм
• «The Qwen 3.6 35B A3B hype is real!!!» (474 upvotes, 165 comments) [Reddit search]
• «Running Qwen3.6 35b a3b on 8gb vram and 32gb ram ~190k context» (190 upvotes) [Reddit search]

Baha Forum (RTX 3070 пользователь):

• «终于让本地AI有还能用的感觉，調了好久，找了好多模型，9B的又太笨，27B跟本不必想，終於把35B-A3B調到我覺得還能用的地步» [Baha Forum] — долго настраивал, но доволен результатом
• Использует APEX quantization + MTP для полного контекста 262K при ~40 t/s

CSDN / Zhihu (китайская комьюнити):

• «Qwen3.6-35B-A3B Uncensored 确实属于当前最强的一批开源本地模型» [Tencent Cloud] — один из лучших open-source local models
• Отмечена сильная Chinese language support + reasoning + multimodal в одном пакете

Simon Willison (Hacker News):

• «Qwen3.6-35B-A3B on my laptop drew me a better pelican than Claude Opus 4.7» [SimonWillison] — визуальное качество на уровне proprietary моделей

— — — — — — — —

[Dmitronik]

— 8. Best Practices для Hermes Agent Desktop на RTX 3060 12GB —

Рекомендуемая конфигурация:

Параметр	Рекомендация	Обоснование
GGUF Quantization	bartowski Q4_K_M (25.9 GB) или pjsmith 2.67bpw (~18 GB)	Баланс качества/объёма для 12GB VRAM [bartowski HF] [pjsmith HF]
Backend	llama.cpp с CUDA (GGML_CUDA=ON)	Поддержка MTP, APEX, CPU offload [Unsloth Docs]
Context Window	64K-128K для agent mode	При полном контексте MTP acceptance rate падает [Baha Forum]
MTP	Код Выделить Развернуть --spec-draft-n-max 2 или отключить	На RTX 3060 спорный выигрыш; pp важнее tg для agent mode [Zenn] [Baha Forum]
KV Cache Quant	Код Выделить Развернуть --ctk q8_0 --ctv q8_0	Бесплатная экономия VRAM без потери качества [Baha Forum]
CPU Offload	Код Выделить Развернуть -ngl 99 -ncmoe 38	Ключ к запуску на 8-12GB VRAM [Baha Forum]
Flash Attention	Код Выделить Развернуть --flash-attn on	Улучшает throughput при длинном контексте
Temperature	0.6 для creative; 0.3-0.4 для coding	— [Baha Forum]
Top-K	20	— [Baha Forum]

Пример launch command (адаптирован под RTX 3060):

Код Выделить Развернуть

llama-server.exe -hf bartowski/Qwen_Qwen3.6-35B-A3B-GGUF:Q4_K_M \
  --model qwen3.6-35b-a3b-Q4_K_M.gguf \
  --mmproj mmproj-qwen3.6-35b-a3b-fp16.gguf \
  -c 65536 --ctk q8_0 --ctv q8_0 \
  --ngl 99 -ncmoe 38 \
  --flash-attn on --jinja \
  --temp 0.4 --top-k 20 \
  --spec-draft-n-max 2 \
  --port 8080

Hermes Agent конфигурация:

• Запустить llama-server как отдельный процесс (порт 8080)
• В Hermes config указать
  Код Выделить Развернуть
  llama.cpp endpoint на localhost:8080 [bartowski HF]
• Для thinking mode — использовать toggle между «thinking» и «non-thinking» режимами [Qwen HF Blog]

Типичные проблемы RTX 3060:

• OOM при полном контексте → уменьшить
  Код Выделить Развернуть
  -c до 32768 или 65536, включить CPU offload [CSDN Tutorial]
• MTP acceptance rate падает с ростом context → использовать
  Код Выделить Развернуть
  --spec-draft-n-max 2 вместо 6 [Zenn]
• Tool calling деградирует при квантизации ниже Q4 → LocalBench показывает tool calling worst at Q8_0 (KL 0.177) [LocalBench]; для Q4_K_M — приемлемо, но тестировать на своих задачах

— — — — — — — —

Comparative Analysis: Модификации Qwen3.6-35B-A3B

Версия	Размер	VRAM (прибл.)	Скорость (RTX 3090)	Качество	Лучшее для
bartowski Q4_K_M	25.9 GB	~18-20 GB	~60-80 t/s	★★★★☆	General purpose, баланс качество/скорость
bartowski Q5_K_M	25.9 GB	~19-21 GB	~55-75 t/s	★★★★★	Максимальное качество при 4-bit footprint
bartowski Q6_K	30.95 GB	~22-24 GB	~50-70 t/s	★ Near-lossless	Если VRAM позволяет
unsloth UD-Q4_K_XL	~21 GB	~15-18 GB	~120+ t/s (MTP)	★★★★☆	Максимальная скорость с MTP
pjsmith 2.67bpw	~18 GB	~12-14 GB	~50-70 t/s	★★★☆☆	RTX 3060 12GB (заточен под этот VRAM)
HauhauCS-Aggressive Q4_K_M	~25.9 GB	~18-20 GB	~60-80 t/s	★★★★☆	Agent workflows, меньше refusal
APEX I-Compact	~17-19 GB	~12-14 GB	~40-50 t/s	★★★☆☆	Макс. экономия VRAM + MTP

— — — — — — — —

Expert Consensus & Notable Dissent

Консенсус:

• Qwen3.6-35B-A3B — один из лучших open-source local models для agentic coding [DEV.to] [Tencent Cloud]
• MoE A3B архитектура позволяет запускать 35B модель на потребительском железе [CSDN Tutorial]
• bartowski и unsloth GGUF — золотой стандарт квантизации [Zhihu]
• Thinking Preservation — уникальная архитектурная фича, не имеющая аналогов среди open-source [BuildFastWithAI]

Расхождения:

• MTP на RTX 3060: одни пользователи отмечают +15-24% throughput [DocAI Blog], другие — падение tg при полном контексте и предпочитают без-MTP [Baha Forum]
• Qwen3.6 vs Qwen3.5: LocalBench показывает регрессию на HumanEval (98.78% → 93.29%), но улучшение в multimodal и reasoning [Unsloth Discussion]

— — — — — — — —

Practical Recommendations для RTX 3060 12GB

Для агента Hermes (general purpose):

• bartowski Q4_K_M — лучший баланс качества/объёма для 12GB VRAM
• Контекст 65,536 токенов — достаточно для большинства задач, не перегружает VRAM
• MTP с
  Код Выделить Развернуть
  --spec-draft-n-max 2 — экспериментировать; если tg падает ниже 30 t/s — отключить
• KV quantization
  Код Выделить Развернуть
  q8_0 — обязательно (бесплатная экономия VRAM)

Для длинного контекста / needle-in-haystack:

• bartowski Q5_K_M или Q6_K если влезает в VRAM с offload
• Контекст 131,072 токенов — компромисс между качеством и производительностью
• Без MTP для стабильности при полном контексте
• CPU offload
  Код Выделить Развернуть
  -ncmoe 38 — обязателен

Для coding / agentic workflows:

• HauhauCS-Aggressive uncensored Q4_K_M — меньше refusal, больше агентской автономии
• Контекст 65,536-131,072 в зависимости от размера кодовой базы
• Temperature 0.3-0.4 для точности кода

Для multimodal (vision + text):

• Обязательно скачать
  Код Выделить Развернуть
  mmproj файл (~1.3 GB) [Zhihu]
• bartowski Q5_K_M — лучше сохраняет визуальные паттерны при квантизации
• Контекст 65,536 — достаточно для большинства multimodal задач

— — — — — — — —

Limitations & Open Questions

• Прямых needle-in-haystack бенчмарков не найдено — только косвенные данные через SWE-bench и LiveCodeBench
• LMSYS рейтинг: недостаточно голосов для статистически значимого рейтинга на LMSYS Chatbot Arena
• Регрессия Qwen3.6 vs Qwen3.5 на coding (HumanEval 98.78% → 93.29%) — требует валидации на реальных задачах
• MTP acceptance rate degradation при полном контексте на потребительском железе — недостаточно данных для definitive recommendation
• pjsmith 2.67bpw experimental quant — мало отзывов, качество не валидировано широким сообществом

— — — — — — — —

Sources

• Qwen/Qwen3.6-35B-A3B HuggingFace — Official model card, benchmarks
• bartowski GGUF — GGUF quantizations
• Unsloth Discussion #10 — Community benchmarks, HumanEval results
• LocalBench Substack — 64 quants benchmarked against BF16
• DEV.to Complete Review — Comprehensive review
• BuildFastWithAI Review — Local deployment guide
• Unsloth Qwen3.6 Docs — MTP benchmarks, NVFP4 quants
• Medium Data Science — Architecture deep dive
• protoLabsAI Uncensored FP8 — 88% refusal reduction
• HackerNoon Uncensored — Uncensored variant analysis
• BenchLM.ai — Public leaderboard ranking #115/216
• Zenn: MTP Speeding Up Qwen3.6 — llama.cpp MTP benchmarks
• Baha Forum: RTX 3070 tuning guide — Real-world experience
• pjsmith 2.67bpw quant — RTX 3060 12GB optimized
• Simon Willison Blog — Visual quality vs Claude Opus 4.7
• Hacker News Discussion — Community discussion

— — — — — — — —

Actionable Next Steps

• Скачать bartowski Q4_K_M GGUF и mmproj файл для multimodal
• Протестировать на RTX 3060: начать с контекста 65,536, MTP
  Код Выделить Развернуть
  --spec-draft-n-max 2
• Измерить token generation rate при разных конфигурациях (MTP vs no-MTP, Q4 vs Q5)
• Протестировать uncensored HauhauCS-Aggressive для agentic workflows
• Попробовать pjsmith 2.67bpw если стандартные кванты не влезают в VRAM

— — — — — — — —

Что я нашёл (ключевые выводы)

Лучшая квантизация для RTX 3060 12GB: bartowski Q4_K_M (25.9 GB) — оптимальный баланс качества/объёма. Для экстремального VRAM — pjsmith 2.67bpw (~18 GB, заточен под 12GB).

MTP vs классика: На RTX 3090/4090 MTP даёт +15-37% throughput. Но на RTX 3060 — спорно: пользователи отмечают падение acceptance rate при полном контексте. Рекомендация: экспериментировать с

Код Выделить Развернуть

--spec-draft-n-max 2, если tg падает ниже 30 t/s — отключить MTP.

Uncensored HauhauCS-Aggressive: 88% снижение отказов при KL divergence всего 0.0015 от оригинала. Для agentic workflows в Hermes — предпочтительнее, так как модель реже прерывает workflow refusal-ами.

Long context (64K/128K): Нативный контекст 262K токенов. Официальная рекомендация Qwen — минимум 128K для сохранения thinking capabilities. Пользователи на RTX 3070 достигают ~40 t/s при полном контексте с APEX quantization + CPU offload.

Регрессия Qwen3.6 vs Qwen3.5: HumanEval pass@1 упал с 98.78% (Qwen3.5) до 93.29% (Qwen3.6). Но улучшились multimodal и reasoning задачи.

Лучшая конфигурация для Hermes Agent на RTX 3060:

• bartowski Q4_K_M GGUF + mmproj
• Контекст 65,536 токенов
• MTP
  Код Выделить Развернуть
  --spec-draft-n-max 2 (экспериментировать)
• KV quantization
  Код Выделить Развернуть
  q8_0
• CPU offload
  Код Выделить Развернуть
  -ncmoe 38