Генерация и редактирование в среде Stable Diffusion
Плагины, расширения, дополнения, extensions => ControlNet => Тема начата: Master_Yoda от Апр. 29, 2025, 16:40
- Вопрос: "Привет всем, есть ли у кого опыт со схемой inpaint фокусовский, но плюс с прикрученным depth и canny например?"
Ответ: Да, но смысл в этом есть только при аккуратном денойзе. ControlNet в inpaint нужен, если хочешь сохранить форму при сильной трансформации — например, добавить костюм поверх. Но для recolor проще использовать LoRA или маски без CN. - Вопрос: "Подскажите какой контролнет использовать, чтобы в качестве ориентира использовать такие скетчи? Flux предпочтительнее."
Ответ: Canny — хороший старт, но может дать двойные линии. Hed или Scribble подойдут лучше, особенно если рисунок сделан рукой. Если цель — стилизация под арт, то Depth+Normal map дают лучший контроль. - Вопрос: "А у Flux вообще свой ControlNet есть или надо внешний?"
Ответ: Есть, давно. Можно использовать FLUX Union (универсальный блок), либо по отдельности — Canny, Depth, MLSD. Для comfy подходит и встроенный, и кастомные ветки CN. - Вопрос: "Как сделать несколько поз с одним лицом, без LoRA? Есть волшебный способ через ControlNet?"
Ответ: Да, InstantID, IP-Adapter или Reactor. Суть — зафиксировать черты через face embedding и подавать позы через OpenPose или LineArt. Главное — контролировать Seed и CFG. - Вопрос: "Какая разница между использованием Depth и Segmentation в ControlNet?"
Ответ: Depth хорош для мягкой формы, Segmentation — если нужна чёткая маска объекта. В паре дают отличный результат: depth для объёма, segmentation — для точности зоны (одежда, предмет, фон). - Вопрос: "После подключения ControlNet (InstantID) картинку режет сверху и снизу. Что не так?"
Ответ: Это из-за несовпадения разрешения input и ControlNet. Проверь, чтобы размер изображения соответствовал модели (например, 1024×1024), и выставь padding. Иногда помогает latent resize. - Вопрос: "Таймстеп в ControlNet — это что вообще такое и трогать ли его?"
Ответ: Timestep Range определяет влияние CN на разных этапах генерации. Значение 1.0 — CN активен весь цикл. Можно уменьшать до 0.5–0.7, если CN "переезжает" или слишком сильно давит промпт. - Вопрос: "Почему после обновления Comfy ControlNet просто не вносит изменений, как будто отключён?"
Ответ: Часто помогает пересохранить схему, перезагрузить CN модели, или вручную назначить путь к модели в Manager. Также проверь вес (Control Weight), он мог сброситься на 0. - Вопрос: "Где взять controlnet для FLUX, чтобы не городить костыли?"
Ответ: Есть готовый FLUX ControlNet Union на GitHub, а также встроенные опции в новых сборках Comfy. Работает из коробки. - Вопрос: "ControlNet в comfy требует Canny/Depth модель, где их брать и куда класть?"
Ответ: На HuggingFace или Civitai. Помести .pth или .safetensors в папку models/ControlNet и перезапусти ComfyUI. Не забудь прописать путь, если модель кастомная. - Вопрос: "Как ограничить действие ControlNet только на часть изображения?"
Ответ: Через mask input. Используй контрольную маску с белой зоной действия CN и чёрной — вне действия. В Comfy есть ноды ControlNetApplyMasked. - Вопрос: "Зачем вообще нужен Tiled ControlNet, если обычный depth вроде работает?"
Ответ: Tiled CN применим для high-res (>1024 px), когда обычный CN не справляется с деталями по краям. Особенно эффективен в upscale-сценариях и фоновом контроле. - Вопрос: "А ControlNet вообще можно использовать с Outpaint?"
Ответ: Да, но осторожно: CN может зафиксировать рамки исходного изображения. Лучше отключать его при генерации вне старой границы или использовать отдельный CN pass. - Вопрос: "Какой ControlNet даёт лучший контроль позы при генерации персонажей?"
Ответ: OpenPose. Работает лучше остальных для поз с руками/ногами. Если нужна абстракция — MLSD или Depth. Можно комбинировать — поза от OpenPose, форма от Depth. - Вопрос: "ControlNet LineArt и Scribble — это одно и то же?"
Ответ: Нет. Scribble — это живой набросок, работает мягко. LineArt — чёткие контуры, полезен для арт-стилей. Визуально можно сравнить — есть демки на HuggingFace. - Вопрос: "После подключения ControlNet начали сыпаться ошибки типа HeaderTooLarge — это что?"
Ответ: Ошибка safetensors — значит модель повреждена или не полностью скачалась. Удали файл и скачай заново. Убедись, что путь не содержит кириллицы. - Вопрос: "Какая разница между ControlNet для SDXL и SD1.5?"
Ответ: Модели не совместимы. Для SDXL нужны специально натренированные ControlNet (например, controlnet-depth-sdxl.pth). Использование SD1.5 моделей с XL приводит к ошибкам или искажениям. - Вопрос: "Почему ControlNet иногда игнорирует prompt, и выходит чисто по input картинке?"
Ответ: Слишком высокий вес CN (больше 1.0) или Timestep Range = 1.0. Уменьши их до 0.5–0.7 и добавь в prompt "style override" ключи. CN не должен полностью подавлять текст. - Вопрос: "ControlNet постоянно обрезает края картинки. Это что?"
Ответ: Смотри padding в CN ноде и разрешение input. CN не умеет интерполировать края, если размер не кратен 64. Используй resize input to multiple of 64 или crop. - Вопрос: "В каких случаях использовать Recolor вместо Inpaint или Depth?"
Ответ: Recolor CN работает только на изменение цвета в рамках формы. Если нужен новый предмет — используй inpaint. Если сохраняется форма — recolor + mask работает быстрее.
- Вопрос: "Привет всем. Начал использовать OpenPose, но при установке моделей их тупо не было. Почему нигде в гайдах об этом не написано? Скачал с Hugging Face две пачки, но теперь ошибки сыпятся. Кто победил это?"
Ответ: Это частая ситуация. Некоторые сборки не включают OpenPose по умолчанию. Модели бери отсюда: https://huggingface.co/lllyasviel/ControlNet-v1-1. Размести их в webui/models/ControlNet. Убедись, что версия совместима с твоей SD (1.5 или XL). И не забывай — Comfy и A1111 требуют разные пути и расширения (safetensors для Comfy предпочтительнее). Если ошибки остались — проверь права доступа к файлам. - Вопрос: "Пробую схему с inpaint и прикручиваю depth и canny. Но не понимаю — это вообще сочетается или конфликтует? Зачем тогда inpaint?"
Ответ: Inpaint используется для перерисовки части изображения. Canny и depth — для того, чтобы форма не уехала. Например, хочешь вместо футболки — пиджак, но сохранить силуэт. Тогда добавляешь depth или canny и фиксируешь форму, а inpaint делает замену текстуры. Главное — не перебарщивай с denoise, начинай с 0.6–0.7. - Вопрос: "Подключаю controlnet tile, но ошибка: 'ControlNet' object has no attribute 'device'. Что это вообще?"
Ответ: Это баг, связанный с версией ноды. Обнови Comfy и controlnet ноды через менеджер. Если используешь portable версию — зайди в custom_nodes, удали старые CN и установи заново. Помогает также ручное обновление PyTorch и xformers. - Вопрос: "Как заставить controlnet работать только на часть картинки? Например — только одежду менять, а лицо не трогать."
Ответ: Используй маску. В Comfy это делается через ControlNetApplyMasked или через input маски в CN. Белое — влияет, чёрное — не трогается. Можно сделать маску вручную или через сегментацию. - Вопрос: "OpenPose не находит лица, пишет 'no face found'. Что не так?"
Ответ: Либо лицо на фото слишком далеко, либо низкое разрешение. Поставь 512×512, обрежь лицо ближе. Также убедись, что используешь правильный препроцессор: openpose_full или instant_id_face_embedding в зависимости от модели. - Вопрос: "ControlNet начал обрезать края картинки. Такое чувство, что crop какой-то активен. Это где отключить?"
Ответ: Открой CN-ноду, найди параметр Resize Mode, поставь Inner Fit или Resize and Fill. Ещё помогает вручную убрать crop-ноды из схемы или поставить padding. Или просто удаляешь ноду crop вообще. - Вопрос: "Есть ли смысл использовать controlnet с flux? Или там своё?"
Ответ: У FLUX есть свой ControlNet. Используй FLUX Union или по отдельности — Canny, Depth, MLSD. Работает стабильно, просто подключается через их ноды. Видео-пример: https://www.youtube.com/watch?v=zq62gc0uo1M - Вопрос: "Можно ли совмещать сразу несколько CN — типа depth и pose?"
Ответ: Да, CN stack поддерживается. Один вариант — использовать Multi-ControlNet или просто подключить несколько нод и выставить веса. Например, depth — 0.6, pose — 0.9. Главное — не перебарщивать с influence. - Вопрос: "Почему после подключения controlnet prompt перестаёт работать? Генерация идёт только по input-картинке."
Ответ: Это значит, что вес CN (control weight) слишком большой — 1.0 или даже больше. Поставь 0.6–0.8 и проверь Timestep Range, лучше ограничить до 0.7. Также можно добавить в prompt "style override". - Вопрос: "Подключил InstantID через CN, но получаю ошибку: no such attribute 'shape' у dict. Что не так?"
Ответ: Ошибка указывает, что данные подаются в неправильном формате. InstantID требует face embedding. Проверь, что входная картинка передается через специальную препроцесс-ноду face_embed_preprocessor. Также желательно использовать модели с поддержкой face-guidance. - Вопрос: "Можно ли использовать скетч от руки через ControlNet? Фигуры простые, но хочу стилизацию."
Ответ: Да, для этого отлично подойдут Scribble или LineArt модели. Особенно в связке с SDXL. Можно даже через Canny, если линии чёткие. Flux тоже понимает такие схемы. - Вопрос: "В каком порядке лучше ставить CN ноды, если их несколько? Есть ли логика?"
Ответ: Жёстких правил нет, но рекомендовано: сначала pose, потом depth, в конце — segmentation или canny. Можно регулировать через weight и timestep. Лучше — экспериментировать в минимальной схеме. - Вопрос: "Что лучше для контроля позы — OpenPose или MLSD?"
Ответ: OpenPose — лучший для точной позы тела. MLSD — больше для архитектурных форм и композиций. В генерации персонажей — только OpenPose. - Вопрос: "Можно ли использовать depth controlnet для сохранения формы лица при трансформации?"
Ответ: Да, depth даст форму, но не детали. Для лица лучше InstantID или IP-Adapter. Depth помогает сохранить объём и композицию. - Вопрос: "Можно ли подключать controlnet прямо к LoRA?"
Ответ: Нет, но они могут работать в паре. ControlNet задаёт структуру, LoRA — стиль. Иногда нужно снижать веса обеих, чтобы избежать конфликта визуального результата. - Вопрос: "Где скачать самые свежие controlnet модели под SDXL?"
Ответ: Hugging Face: https://huggingface.co/lllyasviel/ControlNet-v1-1. Там есть версии для 1.5 и SDXL. Обрати внимание на названия: те, что заканчиваются на -sdxl — нужные тебе. - Вопрос: "Может ли ControlNet заменить LoRA при стилизации персонажа?"
Ответ: Нет. CN управляет структурой, но не стилем. Для стилистики (аниме, пиксель-арт, комикс) — нужна LoRA. Лучше совмещать: CN — форму, LoRA — визуал. - Вопрос: "Почему при апскейле с включенным ControlNet лицо становится 'плоским'?"
Ответ: Видимо, у тебя CN влияет на всю картинку. Используй маску, исключи лицо, или используй InstantID поверх — он держит черты стабильно. - Вопрос: "Подскажите, какие модели CN дают мягкий, акварельный эффект?"
Ответ: Scribble и SoftEdge. Особенно в паре с SDXL и "watercolor" в prompt. Также можно использовать Recolor model с mask на фоне. - Вопрос: "ControlNet segmentation начинает резать объект, если он на фоне. Как этого избежать?"
Ответ: Сначала сделай segmentation mask вручную или уточни её через preprocess. Затем подай её в CN и поставь Keep edges = True. Это даст аккуратное выделение объекта без потерь.
- Вопрос: "Короче сдаюсь. Полинета перерыл. Почему у меня OpenPose тупо не видит модели? Залил с Hugging Face, путь правильный — всё равно ошибка в консоли."
Ответ: Смотри, Hugging Face: https://huggingface.co/lllyasviel/ControlNet-v1-1 — качаешь нужные .pth или .safetensors, кладёшь в models/ControlNet. Проверяешь, чтобы версия модели совпадала с SD1.5 или SDXL. Если всё равно ошибка — проверь, чтобы в пути не было пробелов и кириллицы, и чтобы модель была загружена полностью. Очень часто ошибка — это просто битый файл. - Вопрос: "InstantID запускается, но выдаёт ошибку: AssertionError: InstantID control model should follow ipadapter model. Что делать, почему это вообще возникает?"
Ответ: Это значит, что ты подключил модели в неправильном порядке. InstantID должен идти после IP-Adapter. Сначала загружаешь ip-adapter (например, ip-adapter-plus-face_sdxl), а потом в следующем CN — instant_id_sdxl. См. дискуссию: https://github.com/Mikubill/sd-webui-controlnet/discussions/2589 - Вопрос: "Поставил сразу и Depth, и Canny, и Segmentation — в итоге результат разваливается. Это вообще норм?"
Ответ: Да, но тут важна настройка весов. Ставь Depth на 0.5, Canny — 0.7, Seg — не выше 0.3. Иначе они начинают конфликтовать. Лучше всего работают парами, максимум 2 одновременно. - Вопрос: "Как понять, какая ControlNet модель подходит именно под SDXL, а не 1.5? Где брать и как отличить?"
Ответ: Смотри на название: если в конце файла есть -sdxl, значит это под SDXL. Примеры — control_v11p_sd15_canny.pth — это SD1.5, а control_v11f1e_sd15_openpose_sdxl.pth — уже SDXL. Скачать можно с Hugging Face: https://huggingface.co/lllyasviel/ControlNet-v1-1 - Вопрос: "Использую скетч от руки, фотка с телефона. Ставлю canny — и получаются двойные линии. Это из-за препроцессора?"
Ответ: Да, потому что ты обрабатываешь уже готовый скетч ещё раз. Лучше всего — инвертировать картинку (если скетч на белом фоне) и подавать напрямую как input в CN без препроцессора. Можно включить режим scribble или lineart и отключить auto-process. - Вопрос: "На картинке с двумя людьми InstantID захватывает не то лицо. Как зафиксировать нужного?"
Ответ: Сделай crop на нужное лицо, используй face embedding препроцессор, и подай как reference. Альтернатива — IP-Adapter с face alignment. Также можно вручную нарисовать маску. - Вопрос: "Кто знает, как лучше выстраивать цепочку — сначала InstantID или потом Recolor CN?"
Ответ: Сначала InstantID, чтобы зафиксировать лицо. Потом Recolor (если используешь), но обязательно с маской. Без маски Recolor снесёт всё подчистую, включая черты. - Вопрос: "Поставил OpenPose, всё по инструкции, но пишет: NoneType object has no attribute 'shape'. Что это?"
Ответ: Обычно это значит, что у тебя нет или битая модель. Также такое бывает, если путь неправильный, или не совпадает размер input. Проверь, есть ли картинка, подаваемая в CN, и не пустой ли он. - Вопрос: "FLUX ControlNet не работает в Forge. Это баг?"
Ответ: Нет, не баг — пока что ControlNet для FLUX поддерживается только в ComfyUI. Forge — не тянет нужные CN-ноды, особенно кастомные. Можно попробовать port, но стабильности нет. - Вопрос: "Можно ли использовать sketch, нарисованный в блокноте, как input в CN?"
Ответ: Да, многие так и делают. Фото со смартфона, инверсия — и подаёшь как input в LineArt или Scribble. Главное, чтобы были контуры, не размытые. - Вопрос: "Ставлю depth, и весь фон уходит в кашу. Хочу только форму, а не перерисовку. Что не так?"
Ответ: Это из-за веса. Поставь control weight на 0.4–0.5. И желательно ограничь Timestep Range до 0.6. Тогда Depth только сохранит объём, не перерисуя всё. - Вопрос: "Хочу использовать одну позу с разными лицами. Можно ли через CN как-то это автоматизировать?"
Ответ: Да, IP-Adapter или InstantID. Фиксируешь позу через OpenPose, подключаешь лицо через embedding — и запускаешь цикл с разными reference-фотками. - Вопрос: "Всё работало, но после обновления CN просто ничего не делает. Как будто не включен."
Ответ: Часто сбрасывается вес. Проверь control weight — может стоять 0. Сбрось ноду, обнови пути к моделям, переподключи input — бывает, после обновления связи нарушаются. - Вопрос: "InstantID срабатывает, но лицо всё равно уезжает. CFG 7. Что ещё можно сделать?"
Ответ: Понизь CFG до 4–5. InstantID лучше работает на мягком контроле. Проверь seed-lock, и обязательно зафиксируй размер картинки (например, 768x768). - Вопрос: "ControlNet models из Automatic1111 подходят ли для Forge?"
Ответ: Если они .pth и без специфичных расширений — да. Но лучше не мешать модели из разных UI. Forge работает с меньшим числом форматов. Лучше всё равно пересобрать ноды под конкретную среду. - Вопрос: "В чём разница между InstantID и IP-Adapter? Что лучше держит лицо?"
Ответ: IP-Adapter — гибкий и универсальный, но не всегда держит черты. InstantID — точнее в повторении лица. Лучше использовать оба: IP-Adapter для embed, InstantID — для фиксации. - Вопрос: "Где взять самые лёгкие модели для controlnet, чтобы не грузили VRAM?"
Ответ: Ищи версии 'lite' на Hugging Face или вот тут: https://huggingface.co/lllyasviel. Они режут качество, но подходят для слабых GPU. - Вопрос: "Поставил Union SDXL — но он дико медленный. Это нормально?"
Ответ: Да, Union весит больше 6 ГБ и обрабатывает сразу несколько слоёв. Если VRAM мало — лучше ставить раздельно Depth + Canny. Будет быстрее и стабильнее. - Вопрос: "Можно ли controlnet использовать без препроцессора вообще?"
Ответ: Да, если ты подаёшь уже подготовленное изображение — скетч, depth-map или pose-карту. Просто выбираешь None в поле препроцессора. - Вопрос: "ControlNet от FLUX работает с SD3.5?"
Ответ: Нет. Он не совместим, как минимум на данный момент. Для SD3.5 нужны специальные CN модели, которые можно скачать отдельно. Универсальные не всегда корректно работают.
- Вопрос: "После обновы комфи при запуске любой схемы с ControlNet выдает ошибку 'ControlNet' object has no attribute 'device'. Раньше всё работало. Что за фигня?"
Ответ: Это известная проблема с несовместимостью между новой версией ComfyUI и старыми CN-нодами. Помогает либо полное обновление всех custom_nodes (особенно controlnet-related), либо временный откат на предыдущий коммит. Альтернатива — обновить Supir и другие модули, где тоже вылетало с таким же сообщением. - Вопрос: "InstantID работает, но IP-Adapter не грузится. Ошибка: AttributeError: 'NoneType' object has no attribute 'mode'. Кто сталкивался?"
Ответ: Скорее всего, ты используешь --xformers в запуске, а твоя сборка не дружит с этим флагом. Убери --xformers из аргументов webui-user.bat, перезапусти — IP-Adapter должен заработать. Это подтвердили уже несколько человек. - Вопрос: "После обновления комфи перестала загружаться половина workflow с ControlNet. Просто белый экран, и всё. Что делать?"
Ответ: Такое бывает при конфликте между старой схемой и новыми нодами. Попробуй открыть схему вручную в текстовом редакторе и удалить сломанные блоки. Лучше — воссоздать схему заново, особенно если обновление затронуло типы входов/выходов у CN-нод. - Вопрос: "Поставил workflow с 3 CN: InstantID, IP-Adapter и ControlNet Depth. Теперь зависает на каждом запуске. Это нормально?"
Ответ: Для такого стека нужно не менее 16 ГБ VRAM. InstantID и IP-Adapter оба требуют face embedding, и если они не оптимизированы — схлопываются. Проверь порядок: сначала IP-Adapter, потом InstantID, а потом Depth. Пример обсуждения — https://github.com/Mikubill/sd-webui-controlnet/discussions/2589 - Вопрос: "После запуска ControlNet с face embedding в консоли пишет unit_separate = False, style_align = False, а потом ошибка на модели ip-adapter. Это критично?"
Ответ: Нет, это просто информационный лог. Но если после этого вылетает ошибка — проверь, что модель загружена полностью и лежит по правильному пути. Обычно это models/ControlNet/ip-adapter_instant_id_sdxl.bin. Ещё важно, чтобы .onnx модель face embedding тоже была скачана: https://huggingface.co/DIAMONIK7777/antelopev2 - Вопрос: "Можно ли использовать ControlNet только для части изображения, например, оставить лицо, но поменять фон?"
Ответ: Да. Используй маску — в CN есть Masked Apply, где подаётся карта с белым (влияет) и чёрным (не трогает). Альтернатива — использовать Recolor или Segmentation, где зона задаётся явно и отдельно можно отрисовать фон без влияния на лицо. - Вопрос: "Где взять SDXL-версии моделей ControlNet для Forge? Везде только под Comfy или A1111."
Ответ: Forge требует .safetensors и специфичный формат. Ищи модели здесь: https://huggingface.co/lllyasviel/ControlNet-v1-1 — фильтруй по -sdxl в названии. Пример — control_v11p_sd15_openpose_sdxl.pth. Также можно попробовать портировать вручную через config.yaml, но стабильность не гарантирована. - Вопрос: "Собрал flux + controlnet + PulID, upscale в одном ворке. Комфи загружается, но после 2–3 запусков всё замирает. Есть идеи?"
Ответ: Похоже на проблему с памятью или циклический вызов. Важно: после использования CN + PulID обязательно ставь Clear VRAM, особенно при batch генерации. Также стоит ограничить количество CN-юнитов до 2, и проверять связки с seed-lock — они иногда создают мертвые циклы. - Вопрос: "Какую модель ControlNet для InstantID нужно использовать под SDXL? Есть ссылка?"
Ответ: Да, бери отсюда: https://huggingface.co/InstantX/InstantID/tree/main/ControlNetModel — нужна модель ip-adapter_instant_id_sdxl.bin и соответствующий .onnx файл для face embedding. Всё кладётся в models/ControlNet/ и embeddings/ соответственно. - Вопрос: "Поставил Recolor CN, но теперь вообще ничего не меняется. Вес норм, но результат 1-в-1 с оригиналом."
Ответ: Recolor работает только в зоне, выделенной mask. Без маски он может просто игнорироваться. Проверь, что маска корректная (белое на нужной области), и что CFG не слишком низкий (рекомендуется 5.5–6.5). Также стоит уточнить, что модель не работает с прозрачностью — только RGB. - Вопрос: "После добавления controlnet tile всё стало лагать. Это от него? Он вроде мелкий."
Ответ: Tile CN при batch или высоком разрешении (больше 1024px) требует много VRAM, особенно если ты используешь SDXL и не обрезал input. Уменьши разрешение до 768 или используй тайлинг с overlap. Также помогает KSampler Lite. - Вопрос: "Включаю контрольнет и у меня в генерации сыпется 'HeaderTooLarge' — кто-нибудь сталкивался?"
Ответ: Это ошибка deserialization в safetensors. Часто возникает при повреждённой CN-модели. Удали файл, скачай заново с Hugging Face, и проверь, чтобы файл не был пустой. Особенно касается больших моделей типа Union CN. - Вопрос: "Есть ли смысл запускать несколько моделей ControlNet в одном потоке? Например, Depth + Seg + Pose?"
Ответ: Да, но не все комбинации работают стабильно. Depth + Pose — ок, Seg + Depth — могут конфликтовать. Лучший результат: Depth 0.6 + OpenPose 0.7. Убедись, что разрешения совпадают, иначе будут косяки на краях. - Вопрос: "Где взять готовые схемы (workflow) с InstantID + ControlNet для Comfy?"
Ответ: Рекомендую: https://huggingface.co/jasperai/Flux.1-dev-Controlnet-Depth/tree/main — там есть workflow с лицом, depth, style-control. Просто импортируй JSON в Comfy и проверь пути к моделям. Не забудь скачать embedding-модель отдельно. - Вопрос: "ControlNet работает, но output не меняется даже при разных prompt. Что не так?"
Ответ: Возможно, ты поставил control weight слишком высоко (1.0). Попробуй 0.7 и включи Timestep Range 0.3–0.8. Тогда CN будет влиять не на всю генерацию, а частично, и промт снова будет иметь значение.
- Вопрос: "Ребят, InstantID сохраняет лицо только на первой генерации. На остальных — уезжает. Есть способ зафиксировать?"
Ответ: Да, ключевой момент — фиксировать seed и использовать face embedding через IP-Adapter. Если работаешь в Comfy, обязательно используй face embed ноду перед InstantID, и подавай один и тот же reference. Пример схемы: https://github.com/Mikubill/sd-webui-controlnet/discussions/2589 - Вопрос: "Как задать маску для controlnet так, чтобы он влиял только на фон, а лицо не трогал?"
Ответ: В Comfy через MaskedControlNet или CNApplyWithMask. Нарисуй или сгенерируй маску: чёрное — не трогать, белое — редактировать. Можно взять маску из SAM2 (https://github.com/facebookresearch/segment-anything). Вариант — использовать segmentation model и вручную выделить тело/фон. - Вопрос: "Пробую комбинировать ControlNet + Supir Upscale, но после апскейла теряется поза. Это нормально?"
Ответ: Это бывает, если Supir используется без seed-lock или применяется повторно после CN. Лучше всего сохранять CN карту и использовать её ещё раз после upscale. Ещё один трюк — upscale делать через tiled diffusion + reuse control. - Вопрос: "Как использовать segmentation controlnet в автоматике, если в UI нет возможности вручную выбрать зону?"
Ответ: Скачай SAM2 (segment-anything) — он автоматически создаёт маску. Потом её можно подать в ControlNet. В видео объяснено: https://youtu.be/GjupCZBFCFU (таймкод 23:04 — SAM2 + ComfyUI). - Вопрос: "Forge не видит ControlNet. Путь прописал, файлы есть. Может не та модель?"
Ответ: Forge поддерживает не все типы CN. Для SDXL подходят только модели control_v11f1e_sd15_*_sdxl.pth. Лучше качать с HuggingFace: https://huggingface.co/lllyasviel/ControlNet-v1-1. Не забудь перезапустить Forge после добавления моделей. - Вопрос: "Можно ли в одной схеме использовать IP-Adapter, InstantID и ControlNet? Или это перебор?"
Ответ: Можно, если грамотно выстроить. Последовательность: сначала IP-Adapter (embedding), потом InstantID (face control), потом CN (pose/depth). Главное — следи за VRAM. Лучше не включать все одновременно при 8–10 ГБ. - Вопрос: "Подскажите, почему CN перестал влиять на результат? Weight 1.0, timestep норм."
Ответ: Часто это из-за сбоя в input image или неправильно поданной карты. Перепроверь, что CN действительно получает картинку, и что препроцессор не выключен (None). Иногда помогает просто переподключить входы ноды. - Вопрос: "Где взять готовую схему для инпейнта + CN + face lock, чтобы лицо не сносилось?"
Ответ: Есть пример на Hugging Face — https://huggingface.co/spaces/yanze/PuLID-FLUX. Используется face-control, segmentation mask и fixed-prompt. Пример включает шаги inpaint → restore → style-addition. - Вопрос: "ControlNet tile не хочет запускаться в Forge. Пишет ошибку на модуль."
Ответ: Tile CN — тяжёлый и не всегда работает в Forge. Лучше использовать Flux Dragon Scale Upscaler, он работает по принципу ControlNet Tile, но совместим с Flux. Ссылка на описание: https://youtu.be/06HuvyYmrCM - Вопрос: "У меня при генерации с InstantID лицо сохраняется, но каждый раз свет/тени гуляют. Это фиксится?"
Ответ: Это нормальное поведение. Если нужно зафиксировать свет/цвет — используй Recolor ControlNet или SAM2-маску + цветовую палитру. Альтернатива — применять color alignment в постобработке. - Вопрос: "Возможно ли автоматизировать генерации с одним лицом, но в разных позах, без лоры?"
Ответ: Да, цепочка InstantID + OpenPose + seed lock решает эту задачу. Сохраняется лицо, поза подаётся из pose-карты. Пример на видео: https://www.youtube.com/watch?v=MnWYdcBK_nM - Вопрос: "ControlNet segmentation режет объект по краю. Пытаюсь фон отделить — артефакты."
Ответ: Сделай маску вручную или используй SAM2. В настройках CN поставь keep edges = True, threshold снизь до 0.3. Так будет меньше резких границ. - Вопрос: "Что выбрать для контроля позы и освещения — depth+pose или openpose+normal?"
Ответ: Depth+Pose — универсальный и даёт хороший результат. Но если важен свет, то лучше добавить NormalMap или использовать Advanced Depth. Сильно зависит от стиля генерации. - Вопрос: "InstantID не работает с face reference, ошибка про ONNX. Где брать нужный файл?"
Ответ: Файл: antelopev2.onnx. Скачать отсюда: https://huggingface.co/DIAMONIK7777/antelopev2. Положи в models/facelib/ или в путь, который указан в ошибке. Без него InstantID не будет строить face embedding. - Вопрос: "Как сохранить стиль одной картинки при генерации с другой позой? InstantID лицо держит, но стиль теряется."
Ответ: Добавь Recolor CN, настрой style guide image, и промпт сделай коротким. Также можно подать reference image в IP-Adapter (style control). Не забывай о seed-lock для стабильности.