• Добавить в закладки
  • Facebook
  • Twitter
  • Telegram
  • VK
  • Печать
  • Email
  • Скопировать ссылку
23.03.2023
Сколтех
837

Ученые визуализировали «форму» многомерных данных

4.6

Исследователи из Сколтеха и Института искусственного интеллекта AIRI представили метод визуализации, который в отличие от существующих аналогов делает сложные биомедицинские, финансовые и иные данные доступными человеку с сохранением многомерной структуры датасета. Потеря этой так называемой топологии датасета не позволяет делать полезные выводы из данных, будь то раковые гены, поведение потребителей или что-то еще.

«Расплющивание мамонта». Шесть методов снижения размерности данных превращают трехмерный скан скелета мамонта в плоское представление (в двух измерениях). Видно, что использованный коллективом из Сколтеха и AIRI метод (6), RTD-AE, справляется с сохранением исходной «формы» данных лучше, чем другие популярные методы, а именно: (1) t-SNE, (2) UMAP, (3) PaCMAP, (4) Autoencoder и (5) TopoAE / ©Илья Трофимов / Сколтех / Автор: Cloelia Andronicus

Исследование опубликовано в числе проектов, представленных на мероприятии уровня A* — Международной конференции по обучению представлений ICLR 2023. Аналитики компаний и ученые часто имеют дело с базами данных, в которых каждый элемент наделен признаками сразу во многих измерениях. Скажем, банк может использовать широкий круг показателей для описания поведения каждого клиента. Биологи могут сравнивать клетки разных типов с точки зрения того, насколько в них активен каждый из длинного списка генов. Данные по погоде тоже отличаются большим количеством измерений, потому что значения многих параметров фиксируются или предсказываются для множества моментов времени и точек пространства.

При этом людям непривычно мыслить в многомерном пространстве, и если не снизить размерность датасета и не получить его удобное двух- или трехмерное представление, то может быть крайне трудно обнаружить в данных важные закономерности или выдвинуть на основе них продуктивную гипотезу.

«Если данные визуализировать, то они станут интуитивно доступными, осязаемыми, но мы не обязательно увидим их реальную „форму“ — ведь у датасета может быть структура большого масштаба, с кластерами, пустотами, петлями, и хотелось бы, чтобы все это нашло отражение и в представлении пониженной размерности. Тогда физик увидит на визуализации сигналы отдельных частиц, маркетолог — разные группы потребителей, а климатолог — начало и конец интересующего его процесса. Наш метод снижения размерности отличается от аналогов как раз тем, что не жертвует глобальной структурой данных», — поясняет один из авторов исследования, выпускник Сколтеха и сотрудник AIRI Даниил Чернявский.

Существуют разные подходы к снижению размерности данных. Некоторые из них используют автоэнкодеры — нейросети, создающие представления данных в меньшем количестве измерений. «Проблема в том, что большинство методов, в том числе с автоэнкодерами, работают, что называется, локально. То есть учитывают положение каждой точки относительно ближайших соседей, но в целом игнорируют крупномасштабную структуру датасета, — добавляет Чернявский. — Мы же снабдили автоэнкодер дополнительной новой функцией лосса, которая служит тому, чтобы свести к минимуму различие в топологии между исходным датасетом и его представлением сниженной размерности. Когда лосс равен нулю, „форма“ визуализации гарантированно совпадает с исходной».

Ученые с использованием нескольких метрик оценили, насколько хорошо предложенный метод воспроизводит топологию датасета по сравнению с другими популярными методами снижения размерности данных. Для проверки использовались датасеты разного наполнения и метрики, которые отражают сохранение взаимного расположения точек в целом, а не только тех, что находятся в непосредственной близости друг от друга. Метод авторов исследования повторил исходную «форму» данных лучше всего (см. иллюстрацию).

«Топологический анализ обретает все большую популярность как инструмент исследования многомерных данных. Мы рассчитываем, что скоро предложенный нами и другие подобные методы станут признанным стандартом», — считает соавтор исследования профессор Евгений Бурнаев из Центра прикладного искусственного интеллекта Сколтеха и AIRI. 

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.
Сколковский институт науки и технологий — негосударственный технологический университет, расположенный в инновационном центре Сколково. Институт был создан в 2011 году при поддержке Массачусетского технологического института. Модель института предусматривает тесную интеграцию технологического образования, исследовательской работы и предпринимательских навыков. Институт ведёт обучение по программам магистратуры и PhD, рабочий язык — английский.
Подписывайтесь на нас в Telegram, Яндекс.Новостях и VK
Предстоящие мероприятия
10 часов назад
Игорь Байдов

Американские военные планируют разработать психостимулятор, действие которого можно активировать в мозге с помощью ближнего ИК-излучения. Такая технология поможет пилотам ВВС США сохранять бдительность во время длительных боевых вылетов. Привыкания или побочных эффектов препарат вызывать не будет.

Вчера, 13:37
Александр Березин

Пока премьер-министр Армении Никол Пашинян считает, что гражданам его страны надо отказаться от претензий на ранее населенные ими земли в современной Турции, Азербайджан на государственном уровне действует «исторически проактивно» — противоположным образом. Там есть и «Общество Западного Азербайджана», и даже канал «Западный Азербайджан ТВ». Находятся желающие назвать азербайджанцев преемниками кавказских албанов и даже заявить претензии на земли к западу от Азербайджана, где находится современная Армения. Разбираемся, насколько все это правда и есть ли этому научные обоснования?

7 часов назад
Полина Меньшова

Средство для полоскания рта «Листерин» повлияло на соотношение микроорганизмов в ротовой полости. У людей, которые регулярно использовали его, стало больше бактерий, способных привести к серьезным заболеваниям.

14 июня
Алиса Гаджиева

Авторы нового междисциплинарного исследования выяснили, как распределялись ресурсы в сообществе земледельцев и скотоводов одной из альпийских долин семь тысяч лет назад.

Вчера, 13:37
Александр Березин

Пока премьер-министр Армении Никол Пашинян считает, что гражданам его страны надо отказаться от претензий на ранее населенные ими земли в современной Турции, Азербайджан на государственном уровне действует «исторически проактивно» — противоположным образом. Там есть и «Общество Западного Азербайджана», и даже канал «Западный Азербайджан ТВ». Находятся желающие назвать азербайджанцев преемниками кавказских албанов и даже заявить претензии на земли к западу от Азербайджана, где находится современная Армения. Разбираемся, насколько все это правда и есть ли этому научные обоснования?

11 июня
Андрей

Китайские палеонтологи обнаружили образцы самых больших моллюсков, живших после Великого вымирания. Их гигантский размер говорит о том, что брюхоногие интенсивнее и быстрее восстановились в росте после массовой гибели. До этого подобные свидетельства находили в ладинском ярусе, а сейчас в анизийском.

24 мая
Игорь Байдов

С помощью космических и наземных телескопов международная команда астрономов открыла похожий на нашу планету мир в так называемой зоне обитаемости, позволяющей воде существовать на поверхности тела в жидком состоянии. По космическим меркам экзопланета находится достаточно близко к Земле и, вероятно, представляет собой скалистый мир с благоприятным для жизни климатом. Подобные миры астрономы открывают крайне редко.

27 мая
Андрей

Европейские гляциологи, используя первые снимки Восточной Антарктиды 1937 года, а также фотографии середины XX века и современные спутниковые данные, отследили, как менялись ледники в этом регионе на протяжении 85 лет.

10 июня
Александр Березин

Исследователи из США выяснили, что примерно два миллиона лет назад Солнечная система захватила хвост облака холодного межзвездного газа. В результате гелиосфера сильно сжалась, дав галактическим лучам свободно облучать все планеты системы. Это должно было вызвать и серьезные проблемы с климатом.

[miniorange_social_login]

Комментарии

Написать комментарий
Подтвердить?
Подтвердить?
Причина отклонения
Подтвердить?
Не получилось опубликовать!

Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.

Понятно
Жалоба отправлена

Мы обязательно проверим комментарий и
при необходимости примем меры.

Спасибо
Аккаунт заблокирован!

Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.

Понятно
Что-то пошло не так!

Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.

Понятно
Лучшие материалы
Войти
Регистрируясь, вы соглашаетесь с правилами использования сайта и даете согласие на обработку персональных данных.
Ваша заявка получена

Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.

Понятно
Ваше сообщение получено

Мы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.

Понятно