Генерация и редактирование в среде Stable Diffusion

Qwen3.5-9B — это мультимодальная модель от Alibaba Qwen Team (февраль 2026), которая в своём классе (9B параметров) демонстрирует производительность, сопоставимую с моделями в 10–40 раз больше. Unsloth выпустил GGUF-квантования по схеме Dynamic 2.0, где Q6_K_XL занимает ~28.2 GB на диске и требует ~28 GB совокупной памяти (RAM + VRAM). На RTX 3060 12GB модель работает уверенно (~43 tok/s при Q4_K_M; для Q6_K_XL скорость будет ниже из-за частичного offload на RAM, но всё ещё usable).

Модель особенно сильна в: агентских задачах (tool calling, agentic coding), мультимодальном понимании (изображения, видео до 2 часов), длинном контексте (262K токенов), математике и коде. Главный недостаток — склонность к галлюцинациям при исследовании локальных кодовых баз (30–50% ошибок по отзывам пользователей) и чрезмерное «размышление» на простых запросах.

Для использования в Hermes Agent Desktop на RTX 3060 12GB рекомендуется UD-Q4_K_XL (~19 GB, ~9 GB VRAM + остаток RAM) как оптимальный баланс качества и скорости; Q6_K_XL — если приоритет качество, а скорость вторична.

• Языки поиска: English, Chinese (中文), Traditional Chinese (繁體中文)
• Поисковых запросов: 12+ уникальных запросов
• Источников проанализировано: 15+ доменов
• Инструменты: web_search, web_extract, browser tools

Qwen3.5 использует гибридную архитектуру:

• Gated Delta Networks + Gated Attention в паттерне 8×(3×DeltaNet → FFN → 1×Attention → FFN)
• Sparse Mixture-of-Experts (MoE) для эффективного вывода с минимальной задержкой
• Unified Vision-Language Foundation: early fusion training на мультимодальных токенах — модель понимает текст, изображения и видео нативно
• 262K native context window (расширяемый до 1M через YaRN)
• Tokenizer: vocabulary size 248,320; поддержка 201 языка и диалекта
• Multi-Token Prediction (MTP) training для ускорения декодирования в 1.5–2x

Unsloth использует схему Dynamic 2.0 — адаптивное квантование, где:

• Важные слои (attention layers, key weights) сохраняются в более высокой точности (8-bit или выше)
• Менее чувствительные слои (ffn_up_exps, ffn_gate_exps) могут быть квантованы до 3-bit
• ssm_out (Mamba layers) и attn_* — наиболее чувствительные тензоры; их квантование сильно увеличивает KLD
• Imatrix используется для калибровки процесса квантования, значительно снижая KLD на низких битах

Параметр	Значение
Размер на диске	28.22 GB
PPL (perplexity)	6.5392
KLD @ 99.9%	0.1437
Mean KLD	0.0041
Требуемая память	~28 GB (RAM + VRAM combined)

Сравнение квантований Unsloth для Qwen3.5-9B:

Quant	Disk Size	PPL	KLD 99.9%	Mean KLD
UD-Q2_K_XL	12.04 GB	7.0438	2.9092	0.097
UD-Q3_K_M	15.54 GB	6.732	0.9726	0.0324
UD-Q4_K_XL	19.17 GB	6.5918	0.4097	0.0137
UD-Q6_K_XL	28.22 GB	6.5392	0.1437	0.0041
UD-Q8_K_XL	36.04 GB	6.5352	0.1033	0.0026

Benchmark	Qwen3.5-9B	GPT-OSS-20B	Qwen3-Next-80B-A3B
MMLU-Pro	82.5	74.8	82.7
MMLU-Redux	91.1	87.8	92.5
C-Eval	88.2	71.4	89.7
SuperGPQA	58.2	48.5	60.8
GPQA Diamond	81.7	71.5	77.2

Benchmark	Qwen3.5-9B	GPT-OSS-20B	Qwen3-Next-80B-A3B
HMMT Feb 25	90.0	76.7	73.7
HMMT Nov 25	90.0	81.8	81.2
LiveCodeBench v6	65.6	74.6	68.7

Benchmark	Qwen3.5-9B	Qwen3-Next-80B-A3B
BFCL-V4 (Tool Calling)	66.1	49.7
TAU2-Bench	79.1	57.4
VITA-Bench	29.8	29.5

Benchmark	Qwen3.5-9B	Gemini-2.5-Flash-Lite
MMMU-Pro	70.1	59.7
MathVision	78.9	52.1
RealWorldQA	80.3	72.2
VideoMME (w/ subs)	84.5	74.6

Рекомендованные параметры от Unsloth и Qwen Official.


temperature = 0.6
top_p       = 0.95
top_k       = 20
min_p       = 0.0
presence_penalty = 0.0
repetition_penalty = 1.0
max_tokens  = 32768 (рекомендуется до 81920)

temperature = 0.7
top_p       = 0.8
top_k       = 20
min_p       = 0.0
presence_penalty = 1.5
repetition_penalty = 1.0
max_tokens  = 32768
enable_thinking = False

./llama-server \
  --model Qwen3.5-9B-UD-Q4_K_XL.gguf \
  --mmproj mmproj-F16.gguf \
  --temp 0.6 \
  --top-p 0.95 \
  --min-p 0.00 \
  --top-k 20 \
  -ngl 99 \
  -c 4096

Precision	Inference VRAM	Notes
FP16 (BF16)	~21 GB	Не влезает полностью, нужен offload на RAM
INT8 (Q8_K)	~11 GB	Влезает частично, часть на RAM
INT4 (Q4_K_M/XL)	~5.3–9 GB	Оптимально для RTX 3060
Q6_K_XL	~28 GB total	~12GB VRAM + ~16GB RAM offload

Для Q4_K_M:

• Chat: ~43.3 tok/s — Runs well, 62K context
• Coding: ~43.3 tok/s — Runs well, 62K context
• Agentic Coding: ~43.3 tok/s — Tight fit, 62K context
• Reasoning: ~43.3 tok/s — Runs well, 62K context

Для Q6_K_XL скорость будет ниже из-за offload на RAM (~15–25 tok/s оценка), но всё ещё usable для интерактивного использования.

• Quant: UD-Q4_K_XL или UD-Q4_K_M (баланс качество/скорость)
• VRAM offload: -ngl 99 (максимум на GPU)
• Context: -c 4096 для скорости, до 16384 если нужно больше контекста
• RAM: минимум 16 GB системной RAM для комфортного offload

Позитивные отзывы:

• Пользователи отмечают высокую скорость (~30 tok/s на GPU с полным offload) и надёжность агентских задач
• В Hermes Agent Desktop модель успешно используется для кодинга, генерации сайтов, создания игр (Snake)
• Пользователь подключил Qwen3.5-9B через LM Studio + Tailscale к M3 Pro MacBook — работает стабильно

Негативные отзывы:

• Галлюцинации при исследовании кода — 30–50% контента при локальном исследовании кодовой базы было неверным (выдуманные имена файлов и функций)
• Чрезмерное размышление: модель «overthinks» даже простые запросы вроде "hello"

Пользователь flutetornado:
"My experience with qwen3.5 9b has not been the same. It's definitely good at agentic responses but it hallucinates a lot. 30%-50% of the content it generated for a research task (local code repo exploration) turned out to be plain wrong to the extent of made up file names and function names."

Верификация через KimiK2 выявила значительное количество ошибок в выводах модели.

• Zhihu: Qwen3.5-9B описывается как "小模型本地部署指南" — лучший выбор для локального деплоя на MacBook Pro 16GB / 12GB GPU
• Bilibili: Видео-обзор с оценкой "击败120B巨兽" — модель в 9B параметрах превосходит 120B модели на GPQA Diamond. Отмечена 5GB VRAM requirement для Q4 quant
• CSDN: Множество туториалов по деплою через llama-cpp-python + Gradio WebUI, подтверждена стабильная работа на consumer GPU

• Qwen3.5 "very robust to Unsloth quantization"
• TQ1_0 (94 GB) сохраняет точность оригинальной модели с минимальной деградацией
• Основная деградация на MMLU Pro (потеря world knowledge), но не на других бенчмарках

1. Выдающийся IQ/Volume Ratio: 9B параметров, но результаты на GPQA Diamond (81.7), MMLU-Pro (82.5), HMMT (90%) сопоставимы с моделями в 10–40x больше
2. Нативная мультимодальность: понимает текст, изображения и видео до 2 часов без отдельного vision-модуля
3. Отличное Tool Calling / Agent capabilities: BFCL-V4 = 66.1 (лучше чем Qwen3-Next-80B-A3B при 49.7)
4. Огромный контекст: 262K токенов нативно, до 1M с YaRN — обработка 400+ страниц A4 за раз
5. Высокая устойчивость к квантованию Unsloth: Q4 quant практически без потери качества; Q6_K_XL сохраняет ~99.8% точности оригинала
6. Apache 2.0 лицензия — коммерчески дружественная
7. Поддержка 201 языка и диалекта
8. Работает на consumer GPU: RTX 3060 12GB справляется с Q4 quant


1. Галлюцинации при исследовании кода: 30–50% ошибок в именах файлов/функций при локальном exploration кодовой базы
2. Чрезмерное thinking на простых запросах: модель «overthinks» даже приветствия, требует отключения thinking mode
3. Скорость с Q6_K_XL на RTX 3060: offload на RAM снижает скорость до ~15–25 tok/s (оценка)
4. Деконтекстирование в середине генерации: внезапная остановка генерации без видимой причины
5. Слабые результаты на LiveCodeBench v6 (65.6): уступает более крупным моделям в сложном кодинге
6. Экспериментальная поддержка GGUF в vLLM — poor performance

1. Мультимодальный инференс медленный на CPU/GPU без оптимизации — до 1 минуты на обработку изображения на M2 Mac mini
2. YaRN static scaling может ухудшить performance на коротких текстах
3. Qwen3.6 (следующая версия) показал underwhelming результаты в некоторых бенчмарках

1. Агентские задачи на consumer GPU: tool calling, agentic coding, browser automation — BFCL-V4 = 66.1
2. Мультимодальный анализ: изображения, UI screenshots, видео до 2 часов
3. Длинный контекст: RAG на больших документах (400+ страниц), полный код-баз
4. Локальный чат/ассистент с приватностью: 100% локально, данные не покидают машину
5. Обучение и прототипирование: быстрая итерация без облачных API

1. Генерация кода: decent для простых/средних задач, но уступает GPT-4o/Claude в сложных алгоритмах
2. Математика: сильна на HMMT (90%), умеренно на GPQA Diamond (81.7)
3. Перевод: 201 язык, но качество варьируется по языкам

1. Глубокий анализ больших кодовых баз — склонность к галлюцинациям
2. Высокоскоростной инференс на RTX 3060 с Q6_K_XL — лучше Q4
3. Критически точные ответы без верификации — нужен cross-check

• Рекомендуется: UD-Q4_K_XL (~19 GB, ~9 GB VRAM) — оптимальный баланс
• Если приоритет качество: UD-Q6_K_XL (~28 GB, требует RAM offload)
• Если приоритет скорость: UD-Q4_K_M или UD-Q3_K_M

pip install unsloth unsloth_zoo --upgrade
unsloth start
unsloth start hermesКлючевые флаги: --disable-tools (Hermes использует свои инструменты), --reasoning off/on

./llama-server \
  --model Qwen3.5-9B-UD-Q4_K_XL.gguf \
  --mmproj mmproj-F16.gguf \
  --temp 0.6 --top-p 0.95 --top-k 20 \
  -ngl 99 -c 8192В Hermes Agent: Custom OpenAI-compatible endpoint → http://localhost:8000/v1

• Context length: 16384–32768 токенов
• Max output tokens: 8192 для агентских задач, 32768 для сложных генераций
• Thinking mode: включать только для сложных задач
• Presence penalty: 1.5 (уменьшает повторения)

• Использовать temperature=0.6 для более детерминированных результатов
• Включать верификацию через file/terminal инструменты Hermes после генерации кода
• Для критических задач — cross-check через более крупную модель (Qwen3.5-35B-A3B или GPT-OSS)

• Использовать llama.cpp с -ngl 99 для максимального offload на GPU
• Системная RAM: минимум 16 GB (рекомендуется 32 GB) для Q6_K_XL offload
• SSD: модель ~28 GB для Q6_K_XL, ~19 GB для Q4_K_XL — быстрый NVMe критичен

Не удалось верифицировать:

• Точная скорость tok/s для Q6_K_XL на RTX 3060 (есть данные только для Q4_K_M)
• Производительность в Hermes Agent Desktop с multi-agent subagents
• Долгосрочная стабильность при непрерывной работе 24/7

Области с противоречивыми источниками:

• Сравнение Unsloth UD-Q6_K_XL vs bartowski Q6_K — независимых бенчмарков мало
• Качество мультимодального инференса на Windows vs Linux — данные разрозненны

Предположения:

• Скорость Q6_K_XL на RTX 3060 оценена в ~15–25 tok/s на основе пропорции offload
• Модель работает стабильно с Hermes Agent Desktop — подтверждено, но выборка мала

#	Source	URL
1	Unsloth Qwen3.5 GGUF Benchmarks	https://unsloth.ai/docs/models/qwen3.5/gguf-benchmarks
2	HuggingFace: unsloth/Qwen3.5-9B-GGUF	https://huggingface.co/unsloth/Qwen3.5-9B-GGUF
3	Qwen3.5 Official Blog Post	https://qwen.ai/blog?id=qwen3.5
4	Reddit r/hermesagent	https://www.reddit.com/r/hermesagent/comments/1sgogsr/hermes_and_local_qwen359b
5	Hacker News (галлюцинации)	https://news.ycombinator.com/item?id=47367770
6	willitrunai: RTX 3060 12GB	https://willitrunai.com/can-run/hf-lmstudio-community--qwen3-5-9b-gguf-on-rtx-3060-12gb
7	Unsloth + Hermes Agent	https://unsloth.ai/docs/integrations/hermes-agent
8	DataCamp Tutorial	https://www.datacamp.com/tutorial/run-a-mythos-enhanced-qwen-model-locally-with-hermes-agent
9	InfoWorld: Qwen3.5 locally	https://www.infoworld.com/article/4144487/i-ran-qwen3-5-locally-instead-of-claude-code-heres-what-happened.html
10	Zhihu: руководство по деплою	https://zhuanlan.zhihu.com/p/2012668704182260051
11	Tencent Cloud: деплой 0.8B–9B	https://cloud.tencent.com/developer/article/2634241
12	Benjamin Marie (GGUF evaluation)	https://x.com/bnjmn_marie/status/2025951400119751040
13	Spheron: VRAM Requirements	https://www.spheron.network/tools/gpu-recommender/Qwen/Qwen3.5-9B
14	ApXml: Specs and GPU VRAM	https://apxml.com/models/qwen35-9b
15	Cubed.run: Running with Unsloth	https://cubed.run/blog/running-qwen3-5-locally-with-unsloth

Отчёт сгенерирован на основе исследования от 2026-08-11. Данные актуальны на момент публикации.

=== END ===