GAN и диффузионные модели: как научить нейросеть рисовать Хабр

Сток развивается достаточно динамично и предлагает авторам удобную платформу для работы с различным медиа контентом. Данная настройка определяет соотношение сторон генерируемого изображения. На данный момент, оптимальным является размер равный 512 × 512 пикселей. Вы можете экспериментировать и с другими вариантами, но помните один важный момент, Стабильная Диффузия оптимизирована для работы именно с этим разрешением. В примере выше я попросил СД удалить из изображения слева сгенерированного слона. Как видно на изображении справа, система успешно справилась с заданием.

Stable Diffusion даже используют при создании рекламы. Например, Coca-Cola выпустила ролик, в котором картины известных художников анимированы с помощью нейросети. Пользователи сети смогли интегрировать нейросеть в игровой движок Unreal Engine. Это позволяет генерировать внутриигровые предметы по описанию и сразу же помещать их в игровое пространство. Stable Diffusion — одна из самых продвинутых нейросетей для генерации изображений. Модель позволяет создавать персонализированные изображения по индивидуальным промтам пользователей, что может быть полезно в маркетинге и рекламе.

Как пользоваться Stable Diffusion 3 в онлайне

В отличии от Dreamstudio, функционал несколько обрезан и не позволяет выставлять множество параметров (количество шагов, масштаб, размер и др.). Плюс ко всему, генерация изображения через Huggingface требует значительно больше времени. После регистрации появляется окно, в котором генерируется изображение. Слева можно выбрать размер картинки и насколько сильно она должна соответствовать запросу.

• Требуется регистрация на сайте или логин в «Гугл» или «Дискорд».
• Повторное использование одних и тех же дескрипторов в каждом приглашении помогает поддерживать согласованность между разными изображениями.
• В результате система узнала, как пиксели (маленькие точки, из которых состоит изображение) должны располагаться относительно друг друга.
• Бесплатно разрешается сгенерировать около 400 изображений — пока не закончатся кредиты.
• Постарайтесь включать в промпт все необходимые элементы.

Появилось несколько новых нейросетей, которые могут создавать новые картинки и изменять уже существующие. Последний шаг – настраиваем место сохранения результатов и потребление видеопамяти. Я рекомендую создавать под-папки, так проще потом делиться результатами с остальными.

Как пользоваться нейросетью Stable Diffusion

Для начала, команда Stability AI собрала огромную коллекцию изображений с подписями. Они использовали часть из базы LAION-5B, в которой хранится около 5 миллиардов изображений из интернета. Многие из них – с таких сайтов, как Getty Images, DeviantArt и Pinterest. Поэтому Stable Diffusion умеет создавать изображения в стилях современных художников. Stable Diffusion использует для генерации изображений интересный метод под названием “латентная диффузия”. Представьте, что нейросеть ищет знакомые формы в огромном альбоме картинок, а затем выбирает именно те, которые лучше всего подходят к вашему описанию.

На сайте Stability AI можно найти ссылку на Google Colab — это бесплатная облачная среда для работы с кодом на языке Python. Самостоятельно программировать не нужно — достаточно открыть блокнот, запустить написанный код для установки необходимых библиотек и получить ключ API. Чем подробнее будет ваше описание, тем точнее получится результат. Изображения, сравнимые по качеству с работами профессиональных художников, часто создаются на основе промптов длиной в пять-семь строк. Для достижения высокой детализации включайте фразы вроде «highly intricate, ultra-detailed, 4k» и добавляйте имена художников с похожим стилем. Постарайтесь включать в промпт все необходимые элементы.

Модель

Далее с помощью прямой диффузии на найденную картинку накладываются гауссовские шумы до состояния, когда невозможно понять что было на изображении. После этого применяется обратная диффузия, которая поэтапно отменяет прямую диффузию, уменьшает шумы и происходит создание нового произведения. Установка правильных значений зависит не только от желаемых результатов, но и от сложности фразы для генерации. Чем более длинной является фраза для генерации, тем большее значение вы можете установить. Это позволит системе более подробно проработать мелкие детали и учесть их в финальном изображении. Наиболее красивый результат показала установка значения в 5 и 7,5.

CMDR2 — имя пользователя, который выложил программу. Среди нюансов можно выделить не самые последние версии нейросетей, из-за этого результат может быть хуже ожидаемого. В публичный доступ программу Stable Diffusion выпустили 22 августа 2022 года, ее разработала компания Stability.Ai с лицензией Creative ML OpenRail-M. Такая лицензия допускает коммерческое и некоммерческое использование продукта. Нейросеть имеет открытый исходный код, что позволяет скачать ее на Github и использовать на своем компьютере. Но есть и нюанс — у пользователя должен быть мощный компьютер и навыки программирования для работы с полной версией Stable Diffusion.

С одного из таких альтернативных вариантов, который я нашел наиболее удачным, и начнем установку. Если же вам требуется описание процесса установки официального stable diffusion как пользоваться варианта, его вы также сможете найти далее в статье. «Чистая» модель от разработчика Stable Diffusion, именно на её основе натренированы Deliberate и большинство других моделей. Вот её результат по нашему финальному описанию, которое мы использовали для котов-киборгов. Так что, если у вас слабый компьютер и не получается увеличить сгенерированные изображения прямо в Stable Diffusion, вы можете использовать программу от Topaz — результат будет не хуже. Те, кто работал с нейросетью Midjourney, помнят, что там есть кнопки, позволяющие сгенерировать немного отличающиеся варианты понравившейся картинки.

«Не забудьте про место действия и стилистику изображения — можно взять за основу стили популярных живописцев, фотографов и игровых концепт-артов, — посоветовала собеседница «Ленты.ру». — Подсмотреть готовые промпты можно в сообществе PromptoMania — здесь собраны изображения и их подробные описания для работы со Stable Diffusion». Stable Diffusion — это генеративный искусственный интеллект, натренированный для создания изображений. Предоставление уникальных и конкретных деталей гарантирует, что Stable Diffusion генерирует последовательное воспроизведение вашего персонажа.

Хотя генерация изображений возможна через различные веб-сайты и приложения, я рекомендую использовать телеграм-бот SYNTX. Причем в боте есть все современные и популярные нейросети – от Midjourney до Kling. Программа от группы Stability AI вышла в публичный доступ в августе 2022 года. Нейросеть может качественно генерировать изображения на основе текстового запроса, дорисовывать наброски и переделывать картинки-референсы на свой лад. Все это бесплатно, а открытый исходный код позволяет установить Stable Diffusion на свой компьютер и использовать собственные вычислительные мощности.

Вы закрашиваете часть изображения, пишете, что хотите на этом месте, и нейросеть это переделывает. Можно загрузить изображение, дорисовать на нём то, что нужно, условными пятнами, написать промпт и получить готовую картинку. Частицу «не» в промптах нейросети воспринимают с трудом, поэтому второе поле выделено для негативного промпта. Перечисляйте там всё, чего на картинке быть не должно. Этот шаг нужен, чтобы Stable Diffusion всегда автоматически обновлялась до последней версии.