Вышла новая версия плагина krita-ai-diffusion для интерактивной генерации изображений в Krita с использованием моделей StableDiffusion.

Плагин добавляет возможность генерирования изображения в Krita с минимальными затратами: выделяете область, нажмаете кнопку, и будет сгенерировано новое наполнение, соответствующее вашему изображению. Или расширьте холст и заполните новые области сгенерированным контентом, который сразу же впишется в изображение. Текстовые подсказки необязательны. Никакой доработки не требуется! Этот плагин призван обеспечить то же, что и “Генеративная заливка/Расширение” в Photoshop, и даже больше.

Запуск на своём компьютере. Открытый исходный код. Бесплатно.

Возможности плагина

1. Inpaint: С помощью инструментов выделения Krita можно выделить область и удалить или заменить выделение. Можно использовать простые текстовые подсказки (prompt) для задания параметров генерируемого изображения.

Дорисовка объектов на фотографии с использованием фотореалистичной модели

2. Outpaint: Расширьте холст, выделите пустую область и автоматически заполните ее содержимым, плавно переходящим в существующее изображение.

3. Генерация: Создавайте новые изображения с нуля, задавая их с помощью текста или существующих изображений. Поддерживаются SD1.5 и SDXL.

Доработка и добавление объектов на сгенерированную картинку

4. Доработка: С помощью параметра strength можно влиять на степень доработки содержимого существующего изображения, а не заменять его полностью. Это также отлично подходит для добавления новых элементов в изображение путем рисования наброска и уточнения при высоком значении параметраstrength!

Добавление и итеративная проработка мелких деталей на изображении

5. Управление: Направляйте создание изображения непосредственно с помощью эскизов или векторных рисунков, использования карты глубины или нормалей из существующих изображений или 3D-сцен. Так же возможен перенос позы персонажа с моментальных снимков и управление композицией с помощью карт сегментации.

Использование ControlNet для генерации изображения из грубого наброска

Изменение позы персонажа на изображении (видео по ссылке)

6. Увеличение масштаба: Масштабируйте и улучшайте изображения до 4k, 8k и выше.

Увеличение разрешения изображения для повышения качества и добавления деталей

Новое в версии 1.7

AI Live Painting с мнговенной обратной связью

В этом выпуске реализован сэмплер LCM, который требует очень мало шагов и поэтому работает гораздо быстрее, хотя и с потерей качества. Если вы обладаете high-end GPU (RTX 4070+), то это позволяет генерировать изображения менее чем за секунду. Выбрать сэмплер можно в настройках стиля, но, что еще более интересно, появилась новая функция, которая позволяет получать обновления “в реальном времени” во время рисования.

<<<