02.11.2021
Мария Азарова
16
7 756

«Сбер» представил нейросеть ruDALL-E. Она создает красивые картинки по описанию на русском языке

3.7

Проект по обучению ruDALL-E — самый большой нейросетевой вычислительный проект в России и СНГ, который можно считать «настоящим прорывом для русскоязычной индустрии».

Сгенерированные картинки
Сгенерированные картинки / © Сбер

«Сбер» представил первую нейросеть, которая генерирует неограниченное число изображений на основе заданного описания на русском языке. Разработку назвали ruDALL-E, рассказывается на посвященном ей сайте и в пресс-релизе. ruDALL-E может пригодиться копирайтерам, а также специалистам и обычным людям при поисках нужного варианта дизайна интерьера помещений, для создания стоковых картинок, векторных иллюстраций, а также рекламных материалов.

«Помимо вклада в прогресс в области ИИ, генерация изображений закрывает две важных потребности современного бизнеса — возможность получить уникальную картинку под собственное описание, а также в любой момент создавать необходимое количество licence-free-иллюстраций. При этом создание «мультимодальных» нейронных сетей, которые обучаются сразу на нескольких видах данных, даже сейчас, в эпоху big data и огромных возможностей поиска, будет очень востребованным, поскольку решает задачи на принципиально ином уровне. Технология пока совсем новая, первые шаги в этом направлении были сделаны только в 2020 году, а еще в 2018-2019 годах даже постановку такого рода задачи нельзя было себе представить. ruDALL-E можно считать настоящим прорывом для русскоязычной индустрии», — отметил Давид Рафаловский, исполнительный вице-президент Сбербанка и руководитель блока «Технологии».

Всего есть два варианта модели. Первый — ruDALL-E Malevich (XL) — содержит 1,3 миллиарда параметров и «по короткому текстовому описанию <…> генерирует яркие и красочные изображения на самые разные темы и сюжеты, <…> понимает обширный набор понятий и генерирует совершенно новые изображения и объекты, которых не существовало в реальном мире». Этой версией нейросети можно пользоваться бесплатно: нужно лишь загрузить ее с сервиса Github.

Второй вариант — ruDALL-E Kandinsky (XXL) — имеет ту же архитектуру, что и ruDALL-E Malevich, но содержит уже 12 миллиардов параметров. В ближайшее время обе модели станут доступны на платформе ML Space, в хабе DataHub от SberCloud — облачной платформы «Сбера», разработчик которой, ООО «Облачные технологии», в 2019 году представил самый мощный в России суперкомпьютер Christofari.

Примеры сгенерированных ruDALL-E Kandinsky картинок / © Сбер

Итак, ruDALL-E создает изображения по текстовому описанию (кстати, обучается она и на картинках) в три этапа. Одна нейросеть берет текст на вход и генерирует необходимое число картинок, после чего другая нейросеть определяет, какие из них самые удачные и больше всего соответствуют заданным пользователем характеристикам. Затем третья нейросеть увеличивает картинки в размере. Что особенно важно: качество при этом никак не страдает.

Ранее в этом году Sber AI — подразделение «Сбера», ответственное за развитие и внедрение технологий ИИ — представило архитектуру модели DALL-E для английского языка. Но в открытом доступе она полностью не появилась. На основе их разработки SberDevices и Sber AI вместе с коллегами из SberCloud воспроизвели код и запустили обучение нейросети на ML Space на базе суперкомпьютера Christofari. На создание русского варианта нейросети ушло 23 тысячи GPU-часов (Graphics Processing Unit) и массив данных из 120 миллионов пар текст — изображение.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Позавчера, 13:04
Сколтех

Коллектив ученых из Сколтеха — аспирант Егор Нужин, доцент Максим Панов и профессор Николай Бриллиантов — при помощи методов искусственного интеллекта объяснили таинственное поведение, характерное для ряда животных, — кружение.

Вчера, 16:05
Александр Березин

Океаны на нашей планете не могли возникнуть сразу после ее появления: здесь было слишком жарко. Однако попытки объяснить их «кометным завозом» не удались, изотопный состав нашей воды не такой, как в кометах. До самых недавних пор оставалось неясным, откуда же тогда она появилась, сделав возможной земную жизнь?

Вчера, 11:30
Алиса Гаджиева

Новое исследование не только определило годы жизни неолитической представительницы нашего вида, но и показало, как она выглядела.

Позавчера, 13:04
Сколтех

Коллектив ученых из Сколтеха — аспирант Егор Нужин, доцент Максим Панов и профессор Николай Бриллиантов — при помощи методов искусственного интеллекта объяснили таинственное поведение, характерное для ряда животных, — кружение.

23 января
Илья Ведмеденко

(16) Психея – одно из самых необычных небесных тел в Поясе астероидов. Она может дать людям не только понимание о происхождении планет, но и невероятные по своим объемам ресурсы. Правда, придется подождать: миссия по исследованию астероида находится лишь в самом начале долгого и сложного пути.

21 января
Илья Ведмеденко

Заслуженные штурмовики A-10 и Су-25, которым дали прозвища «Бородавочник » и «Грач» соответственно, много десятилетий стоят на службе в Соединенных Штатах и России. Страны избрали разные подходы к модернизации этих самолетов, и сегодня Naked Science постарается понять, какой из них больше соответствует требованиям XXI века.

26.12.2021
Александр Березин

Российская тяжелая ракета имеет все шансы взлететь после Starship, хотя ее начали создавать на 20 лет раньше, да и по параметрам она радикально уступает детищу Илона Маска. Попробуем разобраться, почему любая попытка создать классическую ракету в наши дни — пустая трата времени и средств. А заодно дать ответ на вопрос, какую космическую ракету на самом деле стоит создавать России.

12 января
Алиса Гаджиева

Дополнительное исследование вулканических пород формации Кибиш в Эфиопии изменило датировку найденных там костей Homo sapiens.

20 января
ТГУ

Ученые факультета физической культуры Томского государственного университета в рамках гранта, поддержанного РНФ, исследуют особенности механизма усвоения глюкозы при сахарном диабете второго типа. Для этого был организован масштабный четырехмесячный эксперимент на 240 мышах, подобного которому в мире еще никто не проводил. Животные с искусственно сформированным диабетом подвергались физической нагрузке. Установлено, что вечерние тренировки лучше снижали вес мышей мышей, а утренние – приводили к уменьшению уровня глюкозы. Предположительно, фактором, стимулирующим утилизацию глюкозы, выступил стресс. Ученые намерены проверить эту гипотезу.

[miniorange_social_login]

Комментарии

16 Комментариев

08.11.2021
-
0
+
Простая нейросеть.
06.11.2021
-
0
+
«Девушка в костюме пикачу»
03.11.2021
-
0
+
Подозреваю этот прорыв построен на openai, тупо ру бд добавили да свои логотипы воткнули))
    03.11.2021
    -
    0
    +
    А вы не "подозревайте" а протестируйте. Совершенно не больно и бесплатно. Полчаса и у вас будет результат работы нейросети который ни с чем не спутаешь. В отличии от DALL-E и прочих штук на GPT-3 нейросеть от Сбера поддерживает русский язык. И насколько я понял Сберу никто не дарил исходный код нейросетки генерящей изображения и его сотрудникам пришлось этот код воспроизвести самостоятельно. До кучи еще и попробовать импортный DALL-E не получится. На их сайте много картинок и описания их крутизны но нигде нет кнопочки "Попробуй"
    +
      ещё комментарии
-
-1
+
Хм, а если нужна блеклая картинка, или тусклая картинка, или растровая картинка, или пиксельная картинка...Логичнее было бы сделать характер картинки опциональным. Если эдак на каждый тип картинки делать свою особенную нейросеть, то... сберу придется повышать комиссионные и проценты за кредит ,чтобы перекрестно финансировать эту муру.
    03.11.2021
    -
    0
    +
    Смотрю у вас созрела еще одна теория заговора.
    +
      ещё комментарии
      -
      -1
      +
      Ну а за чей счет сбер занимается этой социальной нагрузкой? За счет основной финансовой деят-ти, разумеется. За счет заемщиков и клиентов. Которых не спросили, согласны ли они финансировать потемкинские деревни. Сбер обязали выдавать что-нибудь эдакое модное, вот он и делает.
02.11.2021
-
0
+
Скорее находит в гугл поиск, чем создаёт
    02.11.2021
    -
    0
    +
    А вот посмотрим. Задал запрос "жопа с ручкой" обещала выдать результат через 25 мин. Уже то что можно попробовать вселяет надежду что не фейк. В инете много описаний прорывных нейросетей с красивыми картинками но гораздо меньше тех где пользователь может сам проверить их работу.
    03.11.2021
    -
    0
    +
    Вот это я понимаю это вам не "красивая собачка" Видно что нейросеть пыхтела старалась сама как могла. Потому что готовых приколов на эту тему полно а тут эксклюзив.

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: