Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — Полное исследование
— 1. Архитектура модели —
Базовая модель: Qwen3.6-35B-A3B от Alibaba/Qwen Team
Вариант: HauhauCS Aggressive (uncensored fine-tune)
Тип архитектуры: Mixture-of-Experts (MoE) с архитектурой A3B
Ключевые спецификации
| Параметр | Значение |
| Всего параметров | ~35 млрд |
| Активных параметров на токен | ~3 млрд |
| Экспертов в MoE | 256 |
| Активных экспертов на токен | 8 |
| Слоёв (layers) | 40 |
| Механизм внимания | Гибридный: линейное + full-softmax attention (3:1) |
| Нативный контекст | 262K токенов (до ~1M с NTK scaling) |
| Мультиязычность | 100+ языков и диалектов |
| Мультимодальность | Текст + изображения + видео (native vision) |
| Режимы работы | Thinking mode / Non-thinking mode |
Что означает A3B
- Active = активные параметры на токен (~3 млрд вместо 35 млрд)
- MoE-архитектура: из 256 экспертов на каждый токен активируется ~8, что даёт скорость dense-модели в ~10x меньше параметров
Что делает HauhauCS Aggressive
- Fine-tune от сообщества с удалением refusal-поведений
- 0/465 отказов на тестовом наборе (uncensored)
- Не модифицирует датасеты или ядро модели — только дообучение на refusal-данных
- Сохраняет все базовые способности: код, рассуждения, мультимодальность
— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — —
— 2. Рекомендуемые параметры inference —
Для LM Studio / llama.cpp (основной путь для локального запуска)
num_ctx: 32768-65536
num_predict: -1
# Квантизация — выбор зависит от VRAM:
# IQ2_M → 6-8 GB VRAM (RTX 3060 Laptop, RTX 4050)
# IQ4_NL → 12-16 GB VRAM (RTX 3070/3080, RTX 4060 Ti 16GB) ← РЕКОМЕНДУЕТСЯ
# Q4_K_M → 16-24 GB VRAM (RTX 3090/4090) ← СТАБИЛЬНЫЙ ВЫБОР
# Q4_K_P → 24+ GB VRAM (RTX 4090, RTX 5090) ← МАКС. КАЧЕСТВО
# Q8_0 → 32+ GB VRAM (Multi-GPU / Mac M-series)
repetition_penalty: 1.1
presence_penalty: 0.0
kv_cache_dtype: auto
# Thinking mode vs Non-thinking mode:
# Для агента: non-thinking mode
# Для сложных задач: thinking modeКритический баг vLLM + MTP
При использовании vLLM с MTP наблюдаются regression-баги при стриминге. Решение:
- Установить --kv-cache-dtype fp8 вместо auto/bf16
- Или увеличить repetition_penalty до 1.1 и отключить presence_penalty
Для Unsloth MTP (ускорение на GPU)
- Draft tokens = 2 (оптимально; при 4 acceptance rate падает с 83% до 50%)
- Ускорение MoE: ~1.15-1.2x (меньше чем у dense-моделей, но всё полезно)
— 3. Производительность по GPU (бенчмарки) —
| GPU | VRAM | Квантизация | tok/s генерация | tok/s prompt eval |
| RTX 4060 Laptop 8G | 8 GB | IQ2_M | ~10 tok/s | — |
| RTX 3090 24GB | 24 GB | Q4_K_M | ~71 tok/s | ~143 tok/s |
| RTX 4090 24GB | 24 GB | Q4_K_M | ~78 tok/s | ~6,700 tok/s |
| RTX 5090 32GB | 32 GB | Q4_K_M | ~100+ tok/s | ~7,300 tok/s |
| Mac M5 Max 128GB | 128 GB | Q8_0 | ~60-80 tok/s | ~3,000 tok/s |
На RTX 4090 с Unsloth MTP: до 220 tok/s генерации (UD-Q2_K_XL quant)
На RTX 6000 Ada с Unsloth MTP: до 240 tok/s генерации
— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — —
— 4. Достоинства и сильные стороны —
✅ Кодирование (особенно сильная сторона)
- Лучшая локальная модель для кодинга в классе ~35B — подтверждено на r/LocalLLaMA
- Решает задачи, которые не берёт Qwen3.5-27B и другие модели того же класса
- Генерирует рабочие проекты с первого раза (игровые движки, веб-приложения, C++ скрипты)
- Отличная работа с tool calling в агентах (OpenCode, Claude Code, Hermes Agent)
✅ Скорость на MoE-архитектуре
- ~3B активных параметров = высокая скорость генерации даже на потребительских GPU
- На RTX 4090: 78 tok/s — конкурентно с моделями в 2-3x больше параметров
- MTP даёт +20-40% ускорения на GPU
✅ Контекстное окно
- Нативная поддержка 262K токенов — одна из лучших среди локальных моделей
- Пользователи подтверждают стабильную работу с 131K+ контекстом
- "Context is VERY CHEAP on Qwen" — частый отзыв
✅ Мультиязычность (особенно китайский)
- Отличное понимание и генерация на китайском языке
- Поддержка 100+ языков
- Для русскоязычных задач: хорошее качество, но не лучшее среди локальных моделей
✅ Мультимодальность
- Native vision: анализ изображений, OCR, мультимодальные вопросы
- Поддержка видео (в некоторых конфигурациях)
- mmproj файл для llama.cpp обеспечивает полноценную визуальную способность
✅ Низкие требования к VRAM
- Работает на 6G VRAM с IQ2_M — уникально для модели такого качества
- На RTX 3060 12GB: IQ4_NL или Q4_K_M (с небольшим offload)
- Один из лучших вариантов для бюджетных GPU
✅ Uncensored / Aggressive
- Снимает ограничения на контент, генерацию кода, рассуждения
- Не теряет качество при снятии ограничений (в отличие от многих "uncensored" моделей)
- 0/465 refusals — подтверждено тестами
— 5. Недостатки и слабые стороны —
❌ Thinking loops в агентах
- Наиболее частая проблема: модель застревает в цикле мышления
- Симптомы: "Okay, I'm going to present my plan... But wait, I also need to think..."
- Решение: отключить thinking mode для агента; non-thinking mode по умолчанию
❌ Чат-шаблон (chat template) критичен
- Старый шаблон Qwen3.5 НЕ работает корректно с Qwen3.6
- Неправильный шаблон = ошибки tool calling, пропущенные теги, сломанный thinking mode
- Обязательно использовать актуальный chat template из репозитория Qwen
❌ Фактические галлюцинации
- Больше фактических ошибок по сравнению с Qwen3.5 (подтверждено на HF)
- Особенно в задачах, требующих точных числовых данных или свежей информации
❌ C++ кодирование
- C++ скрипты генерируются с ошибками компиляции (по тестам YouTube)
- Лучше работает для Python, JavaScript, веб-технологий
❌ MTP менее эффективен на MoE
- Ускорение только 1.15-1.2x (против 1.4-2x у dense-моделей)
- Не стоит сложности настройки если нужна максимальная скорость
❌ vLLM regression bugs
- При vLLM + streaming + MTP — баги зацикливания
- kv-cache quantization в bf16 вызывает "failed successfully" сценарии
- Решение: --kv-cache-dtype fp8 или repetition_penalty=1.1
❌ Качество на экстремальных квантизациях
- IQ2_M (6GB VRAM): приемлемый, но заметно падает качество кодинга
- Для агента рекомендуется минимум IQ4_NL / Q4_K_M
— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — —
— 6. Рекомендуемые сферы применения —
✅ Идеально подходит для:
- Локальный coding agent (Hermes Agent, OpenCode, Claude Code) — основная задача
- Исследование и анализ кода в больших проектах (благодаря длинному контексту)
- Мультимодальные задачи: OCR изображений, анализ скриншотов, визуальный QA
- Китайскоязычные задачи: перевод, генерация на китайском
- Agentic workflows с tool calling (браузерные задачи, API вызовы)
- Бюджетный GPU (12-16 GB VRAM) — лучший баланс качество/скорость в этом классе
⚠️ Подходит с оговорками:
- Математика и рассуждения: хорошо, но не на уровне Claude Opus / GPT-5.4
- Русскоязычные задачи: хорошее понимание, но есть модели лучше
- C++ разработка: работает, но больше ошибок компиляции
❌ Не рекомендуется для:
- Максимально точных фактических ответов (лучше проприетарные модели)
- Экстремально быстрых ответов на CPU (prompt processing bottleneck)
- Многозадачного серверного деплоя (MoE не оптимизирован для high-concurrency)
— 7. Лучшие практики использования в Hermes Agent —
Настройка chat template
# Убедиться что используется актуальный Qwen3.6 chat template
# НЕ использовать шаблон от Qwen3.5 или Qwen2.5
# Шаблон должен корректно обрабатывать теги thinking... response и <assistant>Рекомендуемые параметры для Hermes Agent
temperature: 0.7
top_p: 0.9
repetition_penalty: 1.1 # критично!
presence_penalty: 0.0
max_tokens: -1
num_ctx: 32768Thinking mode vs Non-thinking mode
- Non-thinking mode (default для агента): быстрые ответы, меньше токенов
- Thinking mode: включать только для сложных задач (математика, архитектура)
- Для coding agent лучше non-thinking — thinking loops замедляют работу
Квантизация для RTX 3060 12GB
Рекомендация: IQ4_NL или Q4_K_M
IQ4_NL: ~8-10 GB VRAM, хороший баланс
Q4_K_M: ~12-14 GB VRAM (нужен CPU offload)
Избегать: IQ2_M для агента (ошибки tool calling)Работа с контекстом
- Модель отлично работает с длинным контекстом — не бояться num_ctx до 65K+
- Для coding agent с большим кодобазом: использовать RAG или chunking
- Context window "very cheap" на Qwen3.6 — можно ставить 131K если память позволяет
MTP (Multi-Token Prediction)
- На RTX 4090/5090: включить MTP для +20-40% скорости
- На RTX 3060/3070: не критично, может добавить overhead
- Draft tokens = 2 (оптимально)
— 8. Сравнение с альтернативами в классе ~35B —
| Модель | Кодинг | Рассуждения | Скорость | VRAM | Uncensored |
| Qwen3.6-35B-A3B (HauhauCS) | ★★★★★ | ★★★★☆ | ★★★★★ | ★★★☆☆ | ✅ Да |
| Qwen3.5-27B | ★★★★☆ | ★★★★☆ | ★★★★☆ | ★★★★☆ | ✅ Есть |
| Gemma4-26B-A4B | ★★★★☆ | ★★★★☆ | ★★★★☆ | ★★★★☆ | ✅ Есть |
| Llama 3.1-70B | ★★★★★ | ★★★★★ | ★★★☆☆ | ★★☆☆☆ | ✅ Есть |
| Kimi K2.5-MoE | ★★★★☆ | ★★★★☆ | ★★★★☆ | ★★★☆☆ | ✅ Есть |
Qwen3.6-35B-A3B — лучший выбор для локального coding agent в классе до 16GB VRAM.
— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — —
— 9. Источники данных —
- HuggingFace Discussions (Qwen/Qwen3.6-35B-A3B) — тех. баги, quantization
- Reddit r/LocalLLaMA — отзывы пользователей, бенчмарки на RTX 3090/4090/5090/M5 Max
- YouTube: Luigi Tech — полный тест coding agent, thinking loops, tool calling
- 腾讯云开发者 (Tencent Cloud) — китайский обзор с тестами на RTX 4060 Laptop
- Официальный блог Qwen — архитектура MoE, A3B, hybrid attention
- LM Studio Docs — поддержка GGUF, recommended settings
- Unsloth Documentation — MTP benchmarks, UD-Q2_K_XL quantization
- David Vassallo's Blog — vLLM regression bugs, kv-cache dtype issues
- ByteShape — MTP GPU benchmarks, quality-speed trade-off analysis
- WillItRun.ai — VRAM fit calculator для различных GPU
— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — —
— 10. Итоговая рекомендация —
Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — лучший локальный coding agent в классе до 16GB VRAM.
Для RTX 3060 12GB: IQ4_NL квантизация, non-thinking mode, repetition_penalty=1.1, num_ctx=32768.
Для RTX 4090 24GB: Q4_K_M или MTP-GPU-5, можно thinking mode для сложных задач.
Ключевые риски: thinking loops (решается non-thinking mode), неправильный chat template (обязательно актуальный), vLLM kv-cache баги (решается fp8 dtype).
— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — —
Отчёт составлен 11 августа 2026. Все данные собраны из открытых источников: HuggingFace, Reddit, YouTube, официальные блоги Qwen/LM Studio/Unsloth.