Qwen3.6-35B — полное исследов...

[Dmitronik]

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — Полное исследование

— 1. Архитектура модели —

Базовая модель: Qwen3.6-35B-A3B от Alibaba/Qwen Team
Вариант: HauhauCS Aggressive (uncensored fine-tune)
Тип архитектуры: Mixture-of-Experts (MoE) с архитектурой A3B

Ключевые спецификации

Параметр	Значение
Всего параметров	~35 млрд
Активных параметров на токен	~3 млрд
Экспертов в MoE	256
Активных экспертов на токен	8
Слоёв (layers)	40
Механизм внимания	Гибридный: линейное + full-softmax attention (3:1)
Нативный контекст	262K токенов (до ~1M с NTK scaling)
Мультиязычность	100+ языков и диалектов
Мультимодальность	Текст + изображения + видео (native vision)
Режимы работы	Thinking mode / Non-thinking mode

Что означает A3B

• Active = активные параметры на токен (~3 млрд вместо 35 млрд)
• MoE-архитектура: из 256 экспертов на каждый токен активируется ~8, что даёт скорость dense-модели в ~10x меньше параметров

Что делает HauhauCS Aggressive

• Fine-tune от сообщества с удалением refusal-поведений
• 0/465 отказов на тестовом наборе (uncensored)
• Не модифицирует датасеты или ядро модели — только дообучение на refusal-данных
• Сохраняет все базовые способности: код, рассуждения, мультимодальность

— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — —

— 2. Рекомендуемые параметры inference —

Для LM Studio / llama.cpp (основной путь для локального запуска)

Код Выделить Развернуть

num_ctx: 32768-65536
num_predict: -1

# Квантизация — выбор зависит от VRAM:
#   IQ2_M    → 6-8 GB VRAM (RTX 3060 Laptop, RTX 4050)
#   IQ4_NL   → 12-16 GB VRAM (RTX 3070/3080, RTX 4060 Ti 16GB) ← РЕКОМЕНДУЕТСЯ
#   Q4_K_M   → 16-24 GB VRAM (RTX 3090/4090) ← СТАБИЛЬНЫЙ ВЫБОР
#   Q4_K_P   → 24+ GB VRAM (RTX 4090, RTX 5090) ← МАКС. КАЧЕСТВО
#   Q8_0     → 32+ GB VRAM (Multi-GPU / Mac M-series)

repetition_penalty: 1.1
presence_penalty: 0.0
kv_cache_dtype: auto

# Thinking mode vs Non-thinking mode:
# Для агента: non-thinking mode
# Для сложных задач: thinking mode

Критический баг vLLM + MTP

При использовании vLLM с MTP наблюдаются regression-баги при стриминге. Решение:

• Установить --kv-cache-dtype fp8 вместо auto/bf16
• Или увеличить repetition_penalty до 1.1 и отключить presence_penalty

Для Unsloth MTP (ускорение на GPU)

• Draft tokens = 2 (оптимально; при 4 acceptance rate падает с 83% до 50%)
• Ускорение MoE: ~1.15-1.2x (меньше чем у dense-моделей, но всё полезно)

[Dmitronik]

— 3. Производительность по GPU (бенчмарки) —

GPU	VRAM	Квантизация	tok/s генерация	tok/s prompt eval
RTX 4060 Laptop 8G	8 GB	IQ2_M	~10 tok/s	—
RTX 3090 24GB	24 GB	Q4_K_M	~71 tok/s	~143 tok/s
RTX 4090 24GB	24 GB	Q4_K_M	~78 tok/s	~6,700 tok/s
RTX 5090 32GB	32 GB	Q4_K_M	~100+ tok/s	~7,300 tok/s
Mac M5 Max 128GB	128 GB	Q8_0	~60-80 tok/s	~3,000 tok/s

На RTX 4090 с Unsloth MTP: до 220 tok/s генерации (UD-Q2_K_XL quant)
На RTX 6000 Ada с Unsloth MTP: до 240 tok/s генерации

— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — —

— 4. Достоинства и сильные стороны —

✅ Кодирование (особенно сильная сторона)

• Лучшая локальная модель для кодинга в классе ~35B — подтверждено на r/LocalLLaMA
• Решает задачи, которые не берёт Qwen3.5-27B и другие модели того же класса
• Генерирует рабочие проекты с первого раза (игровые движки, веб-приложения, C++ скрипты)
• Отличная работа с tool calling в агентах (OpenCode, Claude Code, Hermes Agent)

✅ Скорость на MoE-архитектуре

• ~3B активных параметров = высокая скорость генерации даже на потребительских GPU
• На RTX 4090: 78 tok/s — конкурентно с моделями в 2-3x больше параметров
• MTP даёт +20-40% ускорения на GPU

✅ Контекстное окно

• Нативная поддержка 262K токенов — одна из лучших среди локальных моделей
• Пользователи подтверждают стабильную работу с 131K+ контекстом
• "Context is VERY CHEAP on Qwen" — частый отзыв

✅ Мультиязычность (особенно китайский)

• Отличное понимание и генерация на китайском языке
• Поддержка 100+ языков
• Для русскоязычных задач: хорошее качество, но не лучшее среди локальных моделей

✅ Мультимодальность

• Native vision: анализ изображений, OCR, мультимодальные вопросы
• Поддержка видео (в некоторых конфигурациях)
• mmproj файл для llama.cpp обеспечивает полноценную визуальную способность

✅ Низкие требования к VRAM

• Работает на 6G VRAM с IQ2_M — уникально для модели такого качества
• На RTX 3060 12GB: IQ4_NL или Q4_K_M (с небольшим offload)
• Один из лучших вариантов для бюджетных GPU

✅ Uncensored / Aggressive

• Снимает ограничения на контент, генерацию кода, рассуждения
• Не теряет качество при снятии ограничений (в отличие от многих "uncensored" моделей)
• 0/465 refusals — подтверждено тестами

[Dmitronik]

— 5. Недостатки и слабые стороны —

❌ Thinking loops в агентах

• Наиболее частая проблема: модель застревает в цикле мышления
• Симптомы: "Okay, I'm going to present my plan... But wait, I also need to think..."
• Решение: отключить thinking mode для агента; non-thinking mode по умолчанию

❌ Чат-шаблон (chat template) критичен

• Старый шаблон Qwen3.5 НЕ работает корректно с Qwen3.6
• Неправильный шаблон = ошибки tool calling, пропущенные теги, сломанный thinking mode
• Обязательно использовать актуальный chat template из репозитория Qwen

❌ Фактические галлюцинации

• Больше фактических ошибок по сравнению с Qwen3.5 (подтверждено на HF)
• Особенно в задачах, требующих точных числовых данных или свежей информации

❌ C++ кодирование

• C++ скрипты генерируются с ошибками компиляции (по тестам YouTube)
• Лучше работает для Python, JavaScript, веб-технологий

❌ MTP менее эффективен на MoE

• Ускорение только 1.15-1.2x (против 1.4-2x у dense-моделей)
• Не стоит сложности настройки если нужна максимальная скорость

❌ vLLM regression bugs

• При vLLM + streaming + MTP — баги зацикливания
• kv-cache quantization в bf16 вызывает "failed successfully" сценарии
• Решение: --kv-cache-dtype fp8 или repetition_penalty=1.1

❌ Качество на экстремальных квантизациях

• IQ2_M (6GB VRAM): приемлемый, но заметно падает качество кодинга
• Для агента рекомендуется минимум IQ4_NL / Q4_K_M

— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — —

— 6. Рекомендуемые сферы применения —

✅ Идеально подходит для:

• Локальный coding agent (Hermes Agent, OpenCode, Claude Code) — основная задача
• Исследование и анализ кода в больших проектах (благодаря длинному контексту)
• Мультимодальные задачи: OCR изображений, анализ скриншотов, визуальный QA
• Китайскоязычные задачи: перевод, генерация на китайском
• Agentic workflows с tool calling (браузерные задачи, API вызовы)
• Бюджетный GPU (12-16 GB VRAM) — лучший баланс качество/скорость в этом классе

⚠️ Подходит с оговорками:

• Математика и рассуждения: хорошо, но не на уровне Claude Opus / GPT-5.4
• Русскоязычные задачи: хорошее понимание, но есть модели лучше
• C++ разработка: работает, но больше ошибок компиляции

❌ Не рекомендуется для:

• Максимально точных фактических ответов (лучше проприетарные модели)
• Экстремально быстрых ответов на CPU (prompt processing bottleneck)
• Многозадачного серверного деплоя (MoE не оптимизирован для high-concurrency)

[Dmitronik]

— 7. Лучшие практики использования в Hermes Agent —

Настройка chat template

Код Выделить Развернуть

# Убедиться что используется актуальный Qwen3.6 chat template
# НЕ использовать шаблон от Qwen3.5 или Qwen2.5
# Шаблон должен корректно обрабатывать теги  thinking... response и <assistant>

Рекомендуемые параметры для Hermes Agent

Код Выделить Развернуть

temperature: 0.7
top_p: 0.9
repetition_penalty: 1.1   # критично!
presence_penalty: 0.0
max_tokens: -1
num_ctx: 32768

Thinking mode vs Non-thinking mode

• Non-thinking mode (default для агента): быстрые ответы, меньше токенов
• Thinking mode: включать только для сложных задач (математика, архитектура)
• Для coding agent лучше non-thinking — thinking loops замедляют работу

Квантизация для RTX 3060 12GB

Код Выделить Развернуть

Рекомендация: IQ4_NL или Q4_K_M
IQ4_NL: ~8-10 GB VRAM, хороший баланс
Q4_K_M: ~12-14 GB VRAM (нужен CPU offload)
Избегать: IQ2_M для агента (ошибки tool calling)

Работа с контекстом

• Модель отлично работает с длинным контекстом — не бояться num_ctx до 65K+
• Для coding agent с большим кодобазом: использовать RAG или chunking
• Context window "very cheap" на Qwen3.6 — можно ставить 131K если память позволяет

MTP (Multi-Token Prediction)

• На RTX 4090/5090: включить MTP для +20-40% скорости
• На RTX 3060/3070: не критично, может добавить overhead
• Draft tokens = 2 (оптимально)

[Dmitronik]

— 8. Сравнение с альтернативами в классе ~35B —

Модель	Кодинг	Рассуждения	Скорость	VRAM	Uncensored
Qwen3.6-35B-A3B (HauhauCS)	★★★★★	★★★★☆	★★★★★	★★★☆☆	✅ Да
Qwen3.5-27B	★★★★☆	★★★★☆	★★★★☆	★★★★☆	✅ Есть
Gemma4-26B-A4B	★★★★☆	★★★★☆	★★★★☆	★★★★☆	✅ Есть
Llama 3.1-70B	★★★★★	★★★★★	★★★☆☆	★★☆☆☆	✅ Есть
Kimi K2.5-MoE	★★★★☆	★★★★☆	★★★★☆	★★★☆☆	✅ Есть

Qwen3.6-35B-A3B — лучший выбор для локального coding agent в классе до 16GB VRAM.

— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — —

— 9. Источники данных —

• HuggingFace Discussions (Qwen/Qwen3.6-35B-A3B) — тех. баги, quantization
• Reddit r/LocalLLaMA — отзывы пользователей, бенчмарки на RTX 3090/4090/5090/M5 Max
• YouTube: Luigi Tech — полный тест coding agent, thinking loops, tool calling
• 腾讯云开发者 (Tencent Cloud) — китайский обзор с тестами на RTX 4060 Laptop
• Официальный блог Qwen — архитектура MoE, A3B, hybrid attention
• LM Studio Docs — поддержка GGUF, recommended settings
• Unsloth Documentation — MTP benchmarks, UD-Q2_K_XL quantization
• David Vassallo's Blog — vLLM regression bugs, kv-cache dtype issues
• ByteShape — MTP GPU benchmarks, quality-speed trade-off analysis
• WillItRun.ai — VRAM fit calculator для различных GPU

— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — —

— 10. Итоговая рекомендация —

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — лучший локальный coding agent в классе до 16GB VRAM.

Для RTX 3060 12GB: IQ4_NL квантизация, non-thinking mode, repetition_penalty=1.1, num_ctx=32768.
Для RTX 4090 24GB: Q4_K_M или MTP-GPU-5, можно thinking mode для сложных задач.

Ключевые риски: thinking loops (решается non-thinking mode), неправильный chat template (обязательно актуальный), vLLM kv-cache баги (решается fp8 dtype).

— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — —

Отчёт составлен 11 августа 2026. Все данные собраны из открытых источников: HuggingFace, Reddit, YouTube, официальные блоги Qwen/LM Studio/Unsloth.