Американские и немецкие ученые совместно разработали систему автоматического слежения за лабораторными животными — DeepLabCut. Теперь исследователи следят за перемещениями и действиями подопытных, не ставя на них метки.
Традиционно видеонаблюдение дает много материала для научной работы с животными, но и занимает достаточно времени. Просмотр записей — длительная процедура, которую не всегда можно ускорить. Отличать животных друг от друга трудно, и на них приходится ставить метки. Если пометить крысу цветными пятнами легко, то с мелкими насекомыми возникает проблема. Кроме того, животные стирают метки.
Проблема распознавания отдельных особей с маркерами давно решена, также используют тепловые сигнатуры — они хорошо подходят для крупных животных на свободе. Если же эксперимент требует следить за отдельными конечностями или другими частями животного, то задача многократно усложняется. Сам ученый легко распознает детали на видео, но вынужден просматривать записи в реальном времени. Для автоматического распознавания движений пальцев метки придется ставить очень тесно. Крепления при этом сложно сделать надежно, так как животные будут их грызть.
Коллектив ученых во главе с Маттиасом Бетге (Matthias Bethge) отказался от меток, решив использовать нейросети. Метод прост: снимки размечают вручную с указанием точек, которые затем отслеживает программа. Нейросеть обучают, и она определяет для каждого пикселя изображения вероятность появления соответствующей части тела с учетом положения животного в пространстве. Число снимков, которые нужно разметить вручную, невелико: уже со ста система работает уверенно, исследователи рекомендуют для надежности разметить 200 кадров.
Ученые использовали сверточную нейронную сеть (convolutional neural network, CNN), строение которой аналогично работе зрительной коры человека. Поэтому такая архитектура сети хорошо подходит для распознавания образов. Специалисты дополнительно применили метод глубокого обучения (deep learning) с использованием технологии DNN (Deconvolutional Neural Networks). Параметры и фильтры, сформированные в процессе обучения CNN, используют для первичной обработки сигналов, что улучшает распознавание объектов.
Специалисты провели два эксперимента на мышах и один на дрозофилах.
Бег грызуна по бумажной катушке с «нарисованной» запахом дорожкой изучали при первом опыте. Видеозапись специально осложняли помехами: неоднородное освещение, динамические тени от животного, искажения от широкоугольного объектива. Во время бега мышь часто пересекала след и поворачивала.
Для опыта использовали семь мышей. Съемку вели две камеры, 640×480 и 1700×1200 пикселей, с частотой 30 Гц. Кадры с высоким разрешением чрезмерно велики для обработки, поэтому их обрезали до размера 800×800 пикселей вокруг изображения мыши. Ученые взяли 1080 случайных кадров из разных съемок и проставили метки на морду, кончики ушей и основание хвоста.
На видео зеленые и голубые точки показывают 30 будущих и прошлых позиций морды с периодичностью в 33,3 миллисекунды. Пурпурные ромбы обозначают расположение тела и морды с ушами в прошлом. Вместе эти четыре точки определяют направление тела и головы мыши. Дорожка с запахом нарисована серым цветом.
При втором исследовании отслеживали движения передней лапки мыши. Предварительно зверьков научили за вознаграждение тянуть специальный рычаг. Метки при таком наблюдении использовать практически невозможно.
В эксперименте использовали пять мышей. Съемка велась на камеру с разрешением 2048×1088 пикселей и частотой 100-320 кадров в секунду. Исследователи разметили 159 кадров, на каждом пальце было по четыре метки: на кончике, межфаланговом и пястно-фаланговом суставах, основании запястья. Изображение обрезали до области, содержащей нужное движение. Видео наглядно демонстрирует возможности метода.
Третий опыт — мониторинг поведения дрозофил во время яйцекладки. В этом случае нанесение меток крайне затруднительно из-за размера мушек. На кадрах разметили 12 точек: четыре на голове, семь на тельце и одну на яйцекладке. Метод отлично работал и в этом случае.
Вычисления каждого эксперимента требовали около полумиллиона шагов обучения нейросети, что заняло от 24 до 36 часов работы видеокарты NVIDIA GTX 1080 Ti.
Ученые выложили программу вычислений в свободный доступ.
Наука
Антон Бугайчук
