21.07.2017
Редакция Naked Science

Кулинарную нейросеть выложили в открытый доступ

Ученые из Массачусетского технологического института и Катарского вычислительного исследовательского института разработали компьютерный алгоритм для описания рецепта блюда по изображению и наоборот.

5_1893_povarenok_na_kuhne_young_cook_in_the_kitchen_71_h_100_h
©Wikipedia

Создание искусственных нейросетей, помимо исследовательских, преследует прагматичные цели. Так, ранее стало известно о применении подобных систем в диагностике автомобилей, прогнозировании наводнений и выявлении преступного умысла. В 2014 году американская компания IBM представила первое в мире приложение для генерирования кулинарных рецептов. Сопоставляя химический состав сотен ингредиентов на основе базы сообщества Bon Appétit (более 10 тысяч блюд), программа составляет новые. Аналогичную концепцию весной показала другая группа исследователей: их алгоритм стилизует различные рецепты к традициям определенной кухни, например японских к французской.

 

До сих пор, однако, нейросети не удавалось адаптировать к распознаванию рецептов по изображениям блюд. Предыдущие попытки были ограничены объемом входных данных: обучение на сотне тысяч фотографий позволило достичь только 50-процентной точности. Новая система, получившая название Recipe1M, представляет собой открытую базу данных. Она включает в себя более одного миллиона позиций с указанием названия, типа и фотографии блюда, ингредиентов и инструкции, полученных с различных сайтов. Тренировка программы проводилась на 800 тысячах снимков. В ответ на входной стимул он выводит перечень продуктов, необходимых для приготовления, и пошаговый алгоритм действий.

 

Схема распознавания изображения блюда по рецепту / ©Amaia Salvador et al., MIT, 2017

 

Система образована из двух глубоких сверточных нейросетей и рассчитана и на выполнение обратного распознавания — фотографии по описанию. Этот механизм основан на свойстве совместного вложения. На первом этапе нейросеть разбивает рецепт на векторы с инструкцией приготовления и ингредиентами. Затем сопоставляет полученные данные с наиболее подходящими изображениями в базе и соотносит параметры путем линейного трансформирования. После обучения ответы программы сравнили с результатами опроса среди интернет-пользователей. Последние должны были выбрать из десяти рецептов тот, который соответствует показанному блюду. Некоторые описания при этом имели одинаковое название.

 

Точность нейросети превысила человеческую — 83,6 процента против 81,6 процента. Примечательно, что в обоих случаях показатель снижался с ростом специфичности блюда: например, и люди и алгоритм хуже справлялись с определением рецепта разных пицц по внешнем виду. По словам ученых, после совершенствования технологию можно применить и к другим отраслям. Так, ее можно использовать при разработке учебных пособий, составлении инструкций и описании промышленных процессов. Для самостоятельной проверки системы пользователи могут перейти на сайт проекта, там же находится доступная для скачивания база данных. Исходный код программы опубликован на GitHub.

 

Подробности исследования представлены на сайте Массачусетского технологического университета.

 

Ранее искусственные нейросети стали ближе к реконструкции трехмерных вымышленных ландшафтов и распознаванию оружия на видео.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Позавчера, 12:32
Алиса Гаджиева

Археологи обнаружили доказательства того, что доисторическое строение возрастом в 11 тысяч лет использовали для церемониальных действий, а потом преднамеренно засыпали землей.

Позавчера, 13:46
Александр Березин

Повелители тундростепей Евразийского континента, оказывается, вовсе не вымерли с концом ледникового периода. Вопреки тому, что считалось ранее, они выжили — как минимум на Таймыре и как минимум до 1900 года до нашей эры. А это на много веков позже постройки пирамиды Хеопса. Получается, человек не привел мамонта к вымиранию? Или, напротив, нашел затерянные на Таймыре остатки вида и уничтожил их совсем недавно? Это сложный вопрос, от которого зависит ответ на другой: могут ли слоны заселить Север России и в наши дни?

Позавчера, 13:37
Ольга Иванова

Американские исследователи пришли к выводу, что человеческий мозг уменьшился из-за процессов глобализации, кооперации и разделения труда.

19 октября
Илья Ведмеденко

В КНР испытали монолитный твердотопливный ракетный двигатель, имеющий самую большую тягу в мире. Разработка изделия важна для создания ракет тяжелого класса.

Позавчера, 12:32
Алиса Гаджиева

Археологи обнаружили доказательства того, что доисторическое строение возрастом в 11 тысяч лет использовали для церемониальных действий, а потом преднамеренно засыпали землей.

Позавчера, 13:46
Александр Березин

Повелители тундростепей Евразийского континента, оказывается, вовсе не вымерли с концом ледникового периода. Вопреки тому, что считалось ранее, они выжили — как минимум на Таймыре и как минимум до 1900 года до нашей эры. А это на много веков позже постройки пирамиды Хеопса. Получается, человек не привел мамонта к вымиранию? Или, напротив, нашел затерянные на Таймыре остатки вида и уничтожил их совсем недавно? Это сложный вопрос, от которого зависит ответ на другой: могут ли слоны заселить Север России и в наши дни?

13 октября
Мария Азарова

Анализ образцов крови, взятых у российских космонавтов до и после их полета на МКС, показал, что длительное пребывание в космосе может провоцировать повреждение мозга.

12 октября
Алиса Гаджиева

Две тысячи лет назад многие сооружения строили лучше, чем сегодня.

27 сентября
Мария Азарова

Новое исследование генетиков из Германии и Италии, похоже, помогло найти ответ на вопрос, который занимал ученых свыше двух тысяч лет: откуда взялись этруски?

[miniorange_social_login]

Комментарии

Написать комментарий

Подтвердить?
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно

Сообщить об опечатке

Текст, который будет отправлен нашим редакторам: