Ученые адаптировали ИИ для генерации изображений под российскую культуру
Для культурной адаптации моделей искусственного интеллекта коллектив российских ученых составил методику сбора и обработки пар данных текст-изображение. Применение методики позволило обучить модель Kandinsky 3.1 генерации изображений с учетом культурных особенностей народов нашей страны.
Результаты работы опубликованы в журнале «Доклады Российской академии наук. Математика, информатика, процессы управления».
Создание изображений — занятие творческое, требующее от исполнителя особых навыков и эмоционального настроя. Рисовать, к сожалению, умеет не каждый, да и муза — дама капризная, может долго не посещать. Когда человеку сложно справляться с работой, он стремится делегировать ее технике. По этой причине и благодаря новым возможностям, которые открывают технологии искусственного интеллекта и машинного обучения, появились модели генерации изображений по их описаниям, например DALL-E, Midjourney или Stable Diffusion.
Со временем рынок программного обеспечения стал изобиловать графическими редакторами и онлайн-приложениями. Между тем проблема качественного иллюстрирования не исчезла. Ее наличие обусловлено в том числе трудностями перевода и отсутствием адаптации моделей под национальную культуру. Из-за этого полученные с помощью моделей картинки могут не соответствовать запросу пользователя либо, в худшем случае, нечаянно оскорбить его. На результаты генерации, как правило, сильное влияние оказывает англоязычное информационное поле (рисунок 1).
Так как самобытность нации отражается в различных сферах деятельности, ученые выбрали 17 направлений, наиболее значимых для обучения моделей созданию изображений (рисунок 2). Большое внимание уделили особенностям русского языка и литературы, в первую очередь крылатым выражениям и пословицам. Помимо этого были изучены русские традиции и ассоциирующиеся с ними зрительные образы, такие как георгиевская лента — символ Дня Победы, блины и самовар — атрибут Масленицы, Чебурашка — любимый детьми герой сказочной повести Эдуарда Успенского.
Чтобы реализовать методику, ученые вручную обработали около восьми тысяч текстов и иллюстраций к ним из открытых источников в интернете. В процессе обработки и фильтрации были признаны неудовлетворительными и отброшены рисунки, дающие искаженное представление об объекте либо имеющие низкое качество и водяные знаки. Тексты тоже пытались редактировать: удаляли из них многозначные слова и речевые штампы, добавляли имена собственные: названия произведений, имена персонажей. Однако написание нового текста занимало в среднем 4,52 минуты, тогда как корректура существующего — 5,23 минуты, поэтому ученые решили сами излагать сведения об объектах в 2–10 предложениях и переводить их на английский язык. Для устранения ошибок тексты были многократно вычитаны разными лицами.
В итоге удалось собрать около 200 тысяч пар текст-изображение, несущих отпечаток визуальной составляющей культуры. Данные были использованы в двухэтапном процессе дообучения модели Kandinsky 3.1. Общее число шагов оптимизатора на 416 графических процессорах составило 500 тысяч.
«Одно из основных преимуществ нашей модели над мировыми аналогами заключается в наличии данных о русской культуре,— пояснил Вячеслав Васильев, аспирант кафедры дискретной математики МФТИ.— Благодаря этому модель демонстрирует лучшие результаты при решении практических задач, ориентированных на специфику нашей информационной среды».
С целью проверки информационного наполнения модели Kandinsky 3.1 до и после обучения исследователи по описанию сгенерировали внешний вид нескольких объектов: героев русских сказок и мультфильмов, исторических зданий, блюд национальной кухни. Кроме того, разработчики поставили сравнительный эксперимент и задействовали в нем еще пять моделей (рисунки 3 и 4).
«Так как общепринятых правил и формул для определения культурной адаптации генеративных моделей пока не существует, мы разработали собственную методику оценки,— добавил Вячеслав Васильев.— Для этого привлекли людей, и каждому было предложено, руководствуясь рядом критериев, определить лучшее, на его взгляд, изображение, но при этом не зная, какой моделью оно сгенерировано».
Участникам опроса требовалось охарактеризовать рисунки по двум параметрам: соответствие тексту и визуальное качество. Большинство отдали предпочтение рисункам, полученным с помощью модели Kandinsky 3.1. Единственным достойным ее конкурентом назвали DALLE 3. Предыдущая версия Kandinsky 2.2, а также три другие модели: Midjourney 5.2, SDXL и YaART — уступили лидерство.
«Результаты опроса подтвердили эффективность нашей методики сбора данных и обучения модели»,— подвел итог Вячеслав Васильев.
В дальнейшем ученые планируют адаптировать модели для создания видео по тексту, согласно культурным особенностям нашей страны.
Telegram 
Дзен 
VK Ученые из МФТИ и Объединенного института ядерных исследований завершили комплексный анализ поведения констант связи Стандартной модели на высоких энергиях. Используя ренормализационную группу, авторы оценили вероятность того, что наш вакуум — физическое состояние, в котором существует все вещество во Вселенной,— рано или поздно «провалится» в более глубокое энергетическое состояние.
Если у вас есть выбор между лестницей и лифтом, выбирайте лестницу. Согласно результатам нового исследования, у людей, регулярно поднимающихся пешком по лестнице, риск скончаться от сердечно-сосудистых проблем ниже на 39%, а от любых других причин — на 24%, чем у тех, кто пользуется лестницей лишь иногда.
Ученые напрямую визуализировали квантовые структуры, которые лежат в основе высокотемпературной сверхпроводимости. Эксперимент восполнил давний пробел между поведением одиночных частиц и возникновением сверхпроводящего тока, показав, как изолированные электронные «дырки» внутри кристалла объединяются в квазиодномерные молекулы.
Американская компания Firebird официально запустила в городе Раздан крупный центр обработки данных и фабрику искусственного интеллекта. На сегодняшний день это самый масштабный технологический хаб подобного уровня в СНГ, а после завершения всех этапов строительства он войдет в пятерку самых мощных вычислительных кластеров в мире.
Эксперимент физиков из ЦЕРН позволил рассмотреть поведение глюонов внутри атомных ядер с беспрецедентной точностью. При сверхвысоких плотностях эти элементарные частицы переставали размножаться и начинали объединяться. Это помогло найти подтверждение теории «глюонного насыщения», а не принятого «ядерного затенения» для определенного диапазона сверхвысоких энергий.
Со стороны профессия летчика-испытателя часто выглядит как череда опасных полетов, требующих бесстрашия и способности мгновенно импровизировать. В действительности ее основу составляют методика, дисциплина, технические знания и умение честно рассказать о каждой особенности машины. Его задача — не просто поднять самолет в воздух, но и понять, насколько точно он выполняет команды, предсказуемо ли ведет себя на сложных режимах и какие изменения необходимо внести в конструкцию или систему управления.
Долгое время считалось, что до прихода европейцев тропические леса Амазонии были заселены сравнительно плохо. Однако выяснилось, что плотная растительность скрывает большинство следов древних обществ. С помощью воздушного лазерного сканирования ученые обнаружили сотни неизвестных земляных сооружений и предположили, что около двух тысяч лет назад население юго-западной части Амазонии могло достигать трех миллионов человек.
Американская компания Firebird официально запустила в городе Раздан крупный центр обработки данных и фабрику искусственного интеллекта. На сегодняшний день это самый масштабный технологический хаб подобного уровня в СНГ, а после завершения всех этапов строительства он войдет в пятерку самых мощных вычислительных кластеров в мире.
Очереди на заправках стали привычным явлением в России, а на фоне информационного вакуума от властей о конкретных показателях производства бензина в июне население вынуждено ориентироваться на слухи. Все это выглядит довольно странно, но есть нюанс: скорее всего, кризис уже начинает выдыхаться. Как именно мы это выяснили?
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно