Нейросеть может предсказывать поведение собак
Ученые обучили нейросеть прогнозировать поведение собак по видеозаписи.
Группа ученых во главе с Али Фархади (Ali Farhadi) из Института искусственного интеллекта Аллена (США) научилась предсказывать поведение собак по видеозаписи. Исследователи использовали записи камеры GoPro, закрепленной на голове собаки, и при помощи этого массива данных обучили нейросеть определять вероятное поведение животного на пять кадров вперед.
Исследования в области компьютерного видения, как правило, сводятся к проблемам обнаружения объектов, распознавания, классификации изображений. У специалистов из Института Аллена была более амбициозная задача: «Понимание визуальных данных в той мере, в какой агент выполняет действия и задачи в визуальном мире».
Так, они выбрали визуальным агентом собаку, так как у нее более простое пространство действий, чем у человека. С другой стороны, собаки умны, реагируют на множество факторов, включая других зверей и людей. Для эксперимента важно, что цели и мотивы собак часто неизвестны, а движения — активны и разнообразны.
Данные для опыта включают видео от первого лица собаки, которое записывала закрепленная на голове камера GoPro, и инерциальные датчики на ее теле, каждой лапе и хвосте. Таким образом, положение тела и поза животного фиксировались одновременно «от лица собаки». Данные синхронизировали по записи звукового фона с камеры и независимых датчиков. Видео записывали с частотой пять кадров в секунду, показания датчиков — 20 в секунду.
Ученые вели запись в разных локациях: в комнатах, на лестнице, улице и в парке — всего более 50 мест. А также в разных условиях: при общении с другими собаками, выполнении команд, поиске предметов и так далее. При этом исследователи никак не отмечали и не типологизировали записи — изучали непосредственно движения.
Экспериментаторы сняли 380 видео, что составило 24 500 кадров: 21 тысячу из них использовали при обучении нейросетей, полторы тысячи для валидации, а оставшиеся две тысячи — как тестовые.
Модель поведения разбили на три проблемы:
1. Действовать как собака. Нейросеть предсказывает ее движение, исходя из базы данных.
2. Планировать как собака. Нейросеть прогнозирует последовательность действий, которые использует животное для перемещения из начальной позиции в конечную. Позиции задаются видом «от лица» собаки.
3. Обучаемся как собака. Нейросеть распознает объекты и определяет, по каким поверхностям может перемещаться животное.
Ученые использовали сразу два вида нейросетей. CNN (convolutional neural network) — сверточная сеть, применяется для распознавания изображений. LSTM (long short-term memory) — долгая краткосрочная память; этот вид нейронных сетей эффективен для обработки данных, поступающих через неравномерные временные промежутки.
Сеть CNN распознает объекты на изображениях, а LSTM прогнозирует последовательность действий собаки для заданного кадрами перемещения.
Ученые проверили результат на двух тысячах незнакомых кадров, которые не задействовали при обучении нейросети. Проверка показала, что система успешно планирует движения, выполняемые живой собакой. Достаточно пяти кадров, чтобы обученные нейросети достоверно предсказали поведение животного на следующих пяти кадрах. Речь идет о визуальной информации, датчики применяли только при обучении нейросетей.
Очевидно, что обученная система сможет оценивать проходимость различных поверхностей для собаки. Описанное исследование использовало изображение, но подобным образом нейросети возможно обучить, задействуя другие виды восприятия (в первую очередь слух). Комбинирование обученных сетей повысит точность прогнозирования. Задача моделирования нескольких взаимодействующих друг с другом собак также интересна. И, конечно, прогноз возможен и для других животных, а со временем и человека.
Исследователи считают, что продолжение работы поможет лучше понимать не только собак, но и всех существ, населяющих нашу планету.
Telegram 
Дзен 
VK Сотрудники Центра языка и мозга НИУ ВШЭ приняли участие в редкой для детской нейрохирургии операции с пробуждением у 11-летнего пациента с фармакорезистентной эпилепсией. Совместно с врачами НПЦ специализированной медицинской помощи детям имени В.Ф. Войно-Ясенецкого в Солнцево они сопровождали удаление участка левой височной доли, где был выявлен эпилептический очаг.
Провинция Цзянсу была процветающим центром медицинской практики в Китае во времена династии Мин (1368-1644 годы нашей эры). Микроскопический анализ крошечных частиц на поверхности хирургических ножниц и пинцета из гробницы китайского врача помог выявить следы вещества, получаемого из ядовитого растения, которое, по мнению исследователей, применялось как местная анестезия во время операций.
Анализ ДНК и изотопный анализ зубов показали, что мужчина генетически был связан с саамскими популяциями, но часть жизни провел за пределами Финляндии — возможно, в Исландии. Авторы нового исследования пришли к выводу, что на рубеже XVI-XVII веков саамские сообщества не были изолированы, как предполагали многие исследователи. Люди путешествовали на далекие расстояния и поддерживали контакты с дальними регионами Северной Атлантики.
В доколумбовых Андах принадлежность к правящему роду определяла доступ к земле, торговле и статусу, поэтому удержать все внутри семьи было вопросом выживания. Ученые выяснили, что элиты долины Чинча решали эту задачу самым прямым способом — заключая браки между родственниками на протяжении как минимум двух поколений.
Последние несколько лет по всему миру выходит множество работ о том, что микрочастицы искусственных полимеров накапливаются в тканях человека и могут быть небезопасны. Мы решили обратиться к академику Алексею Хохлову, чтобы дать трибуну противоположной точке зрения. Выбор между ними предлагаем сделать читателю.
Ученые РГУ нефти и газа (НИУ) имени И. М. Губкина предложили подход к отбору малодебетных нефтегазовых месторождений, которые составляют около 88% нераспределенного фонда нефтяных участков. Модель расчета поможет вовлечь в экономический оборот от 400 до 600 миллионов тонн ранее нерентабельных запасов.
В высокогорных районах Гималаев появился новый хищник. Он не боится людей, возглавляет стаи собак и все чаще заходит в деревни. Местные жители называют его «кхипшанг». Речь идет о гибриде гималайского волка и бродячей собаки. Ученые опасаются, что этот зверь изменит хрупкий баланс местной дикой природы и в скором времени станет весьма опасным для человека.
Релиз довольно неожиданно перенес время образования протонов и нейтронов в более раннее прошлое Вселенной. К сожалению, из его текста осталось неясным научное обоснование таких фундаментальных изменений в космологии. Также он резко передвинул в прошлое и момент возникновения реликтового излучения.
При совпадении нескольких условий наши глаза способны улавливать излучение в ближнем инфракрасном спектре. Тогда сетчатка начинает работать как нелинейный фотодетектор.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии