Ноги «Джоконды», апартаменты «Девочки с персиками» и новый «Апофеоз войны»: как нейросети меняют произведения искусства

Что произошло

Основатель стартапа neural.love. Денис Ширяев и автор Telegram-канала «Нейросети и Блендер» получили доступ к новой версии нейросети от компании OpenAI под названием DALL-E 2, которая умеет создавать изображения по текстовому описанию. С ее помощью они дорисовали некоторые классические произведения искусства, пишет Vice.

• Ширяев рассказал, что сперва он дополнил изображение Джорджа Вашингтона на долларовой купюре. Для этого он давал нейросети четкие текстовые инструкции, как и где нужно «расширить» картинку. Впоследствии он проделал то же самое и с произведениями искусства.
•  «Это похоже на то, как клавиатура вашего телефона пытается угадать, какое следующее слово вы хотели бы ввести, и предлагает его, — отметил Ширяев. — Та же идея работает с «подсказкой» изображения — искусственный интеллект пытается доработать изображение на основе предоставленных исходных пикселей, а текстовая подсказка помогает управлять этим процессом генерации».
• На данный момент нейросеть DALL-E 2 доступна только для ограниченного количества разработчиков. Желающие могут подать заявку на тестирование нейросети на сайте сервиса.

Детали

• Картина «Мона Лиза» Леонардо да Винчи, написанная в XVI веке, сейчас хранится в Лувре. Считается, что на картине — Лиза Герардини, супруга флорентийского торговца шелком Франческо дель Джокондо. DALL-E 2 изобразила «Джоконду» практически в полный рост.

• Замысел работы Василия Верещагина «Апофеоз войны», написанной в 1871 году, связан со средневековым правителем и полководцем Тамерланом, войска которого оставляли за собой такие пирамиды черепов. DALL-E 2 придала картине новый вид. Нейросеть дорисовала множество деталей, в том числе проработала небо — появились облака с золотым отливом. 

• «Девятый вал» Ивана Айвазовского, законченный в 1850-м, изображает людей, потерпевших кораблекрушение. Нейросеть сделала картину более яркой и мрачной: закат стал более алым, а вода пробрела изумрудный оттенок.

• А вот на картинах «Девочка с персиками» Валентина Серова и «Девушка с жемчужной сережкой» Яна Вермеера появились целые комнаты с характерным интерьером.

Досье

Нейросеть DALL-E 2 представили в апреле текущего года. Первые пользователи, которым удалось ее опробовать, назвали работу алгоритмов «технологическим чудом», поскольку они создавали иллюстрации с высочайшей точностью и детализацией.

• Помимо своей основной функции, нейросеть умеет создавать различные стилевые вариации одного изображения.

• Технология также поддерживает несколько режимов, в том числе позволяет трансформировать одно изображение в другое по описанию. Для этого нейросети необходимо предоставить исходную картинку и указать, какая иллюстрация должна получиться в конечном итоге. В ходе этого процесса DALL-E 2 выдает серию промежуточных результатов: пользователь может увидеть, как происходит трансформация.

• Кроме того, недавно разработчики нейросети заметили странность: иногда она пишет слова на своем собственном языке, комбинируя их на основе случайного расположения букв. 
• Яннис Дарас из Техасского университета описывает пример такого поведения нейросети следующим образом. Когда он велел DALLE-E2 нарисовать картинку с «фермерами, говорящими об овощах», программа выполнила задачу, причем речь фермеров изображалась в виде исходящих из их уст облачков. Там присутствовало неизвестное слово vicootes, однако когда Дарас отправил vicootes обратно DALLE-E2 в виде нового задания, он действительно получил фотографии овощей. Затем то же самое случилось со словами Apoploe vesrreaitars — это оказались «птицы».

Прецедент

На сегодняшний день инновационные технологии — важная часть мира искусства.

• Например, нейросеть Botto, обученная писать картины, уже заработала первый миллион долларов на продаже на аукционе нескольких ее работ в виде NFT. Для их создания технология использует алгоритмы, анализирующие миллионы уже созданных произведений искусства. Процесс написания картины состоит из нескольких этапов: сначала алгоритм генерирует случайные слова и фразы, которые определяют направление работы, на основе которого формируется сюжет картины. Закончив работу над произведением, нейросеть определяет, соотносится ли оно с изначальным смыслом — в случае несоответствия алгоритм переделывает картину. Финальный этап — определение названия работы. Нейросеть генерирует около 350 картин в неделю, однако на аукцион попадает лишь часть произведений, отобранных специальной комиссией. 
• Государственный музей Амстердама использовал нейросеть для цифровой реставрации картины «Ночной дозор» Рембрандта ван Рейна, которая была обрезана в 1715 году во время переезда в новый зал, где иначе не помещалась. Хотя отрезанные полосы не были найдены, сохранилась копия работы, сделанная примерно в 1655 году. Реставраторы и специалисты по работе с нейросетями использовали ее, чтобы воссоздать недостающие части в стиле Рембрандта.
• В свою очередь платформа Google Arts & Culture в 2021-м запустила онлайн-выставку Klimt vs Klimt, посвященную жизни и творчеству австрийского художника Густава Климта. Гвоздем программы стали восстановленные при помощи нейросети картины, многие из которых были утеряны в 1945-м при пожаре. Предполагается, что они получились именно такими, какими их задумывал художник: технология смогла воссоздать цвета картин и их первоначальный облик, обучившись на других работах Климта. 
• Также с помощью нейросети удалось восстановить изображение обнаженной женщины под картиной испанского художника Пабло Пикассо «Завтрак слепого» 1903 года. Очертания образа обнаружили с помощью рентгенографии — этот метод позволяет увидеть старый рисунок под слоем краски. После этого нейросеть восстановила цвета и текстуры мазков художника, в основу легли особенности стиля Пикассо. Изображению дали название «Одинокая сидящая обнаженная».

Фото обложки: Картина Леонардо да Винчи «Мона Лиза» / Денис Ширяев / DALL-E 2