Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Исследователи Яндекса разработали новую нейросетевую архитектуру для работы с табличными данными
Лаборатория исследований искусственного интеллекта Yandex Research представила нейросетевую архитектуру для работы с табличными данными — TabM. Разработка позволяет быстро обрабатывать большие массивы данных и строить высокоточные прогнозы при умеренном использовании вычислительных ресурсов. Подобные модели могут использоваться в самых разных областях, от прогнозирования энергопотребления до классификации пациентов по риску заболеваний.
Научная работа о модели была представлена на ICLR — одной из крупнейших в мире конференций по искусственному интеллекту. Статья также опубликована в архиве научных статей препринтов Корнеллского университета. Сама архитектура выложена в открытом доступе на GitHub.
Классические модели градиентного бустинга на решающих деревьях (CatBoost, XGBoost, LightGBM) традиционно считались стандартом для работы с табличными данными. В последние годы для этих задач также активно разрабатываются нейросетевые архитектуры — от простых многослойных перцептронов (MLP) до более сложных моделей на основе трансформеров и retrieval-механизмов. При этом вопросы стабильности и эффективности новых методов на широком спектре табличных задач, а также возможности их практического применения, оставались открытыми.
В своей работе исследователи из лаборатории Yandex Research обратили внимание на потенциал улучшения MLP за счет параметро-эффективного ансамблирования. Они предложили архитектуру TabM, созданную на основе многослойного перцептрона с применением модифицированной техники BatchEnsemble. Внутри одной нейросетевой модели формируется несколько виртуальных подмоделей с частично общими параметрами, предсказания которых затем усредняются.
Такой подход позволил TabM не только превзойти базовые MLP и более сложные современные нейросетевые решения для табличных данных, но и достичь качества, сопоставимого или превосходящего лучшие классические модели градиентного бустинга. Тестирование проходило на 46 наборах данных, причем среднее место TabM в тестах оказалось между первым и вторым (усредненно 1,7).
Это очень хороший результат, потому что в норме подобные модели делают точные прогнозы только для некоторых наборов данных, под которые их оптимизировали при разработке. Обычная модель редко занимает первые и вторые места сразу в десятках наборах данных. Например, ближайший конкурент TabM в среднем занимал места, ближе к третьему (2,9).
То есть TabM оказалась лидером по универсальности. Это важно, поскольку разрабатывать специализированную модель под каждый новый набор данных долго, дорого и не всегда гарантирует наилучшее качество. В отличие от альтернативных MLP-решений, архитектура TabM универсальна: ее можно применять без глубокой донастройки. Таким образом, специалисты получают новый эффективный и более легкий в использовании инструмент.
На практике TabM уже применили на Kaggle. Это платформа международных соревнований по анализу данных и машинному обучению от Google. Среди задач, для которых применяли TabM, было, например, предсказание выживаемости пациентов после трансплантации костного мозга. Сперва, при обучении, в модель загружали таблицу с данными пациентов с аналогичными диагнозами, в которых было указано, выжил пациент или нет. Затем обученная модель получала данные по нынешним пациентам и делала прогноз по их выживанию.
С 2019 года исследователи Yandex Research опубликовали восемь научных статей по глубокому обучению моделей для работы с табличными данными. В общей сложности статьи получили более 1900 цитирований. В частности, статью о TabM цитировали Университет Мангейма (Германия), Национальный университет Сингапура, Корейский университет, Иллинойсский университет в Урбане-Шампейне (США). В разные годы статьи были приняты на самые влиятельные конференции по ИИ, в том числе NeurIPS, ICLR и ICML.
Квантовую механику активно применяют не только в науке, но и при некоторых расчетах, связанных с работой электроники. Несмотря на заметные практические результаты, эта отрасль науки не имеет единых взглядов на то, как на самом деле устроена та самая физическая реальность, которую квантовая механика призвана описывать.
В древней истории скифы занимали значительное место. Их внешность и обычаи подробно описал Геродот. Скифские курганы распространены по всей Евразийской степи — от Внутренней Монголии до севера Причерноморья. Одна из характерных черт материальной культуры — знаменитый звериный стиль. Археология не дала убедительных ответов на вопросы о происхождении скифов, а также о том, кто их прямые потомки. Ученые возлагают надежды на палеогенетику.
Гостингом (от английского «призрак») называют ситуацию, когда человек прекращает общение или отношения, «пропадая с радаров» без объяснения причин. Исследователи из США сымитировали такое поведение, а затем проанализировали реакцию людей на него.
Квантовую механику активно применяют не только в науке, но и при некоторых расчетах, связанных с работой электроники. Несмотря на заметные практические результаты, эта отрасль науки не имеет единых взглядов на то, как на самом деле устроена та самая физическая реальность, которую квантовая механика призвана описывать.
В древней истории скифы занимали значительное место. Их внешность и обычаи подробно описал Геродот. Скифские курганы распространены по всей Евразийской степи — от Внутренней Монголии до севера Причерноморья. Одна из характерных черт материальной культуры — знаменитый звериный стиль. Археология не дала убедительных ответов на вопросы о происхождении скифов, а также о том, кто их прямые потомки. Ученые возлагают надежды на палеогенетику.
Гостингом (от английского «призрак») называют ситуацию, когда человек прекращает общение или отношения, «пропадая с радаров» без объяснения причин. Исследователи из США сымитировали такое поведение, а затем проанализировали реакцию людей на него.
Прибывшая из межзвездного пространства предполагаемая комета 3I/ATLAS движется по траектории, максимально удобной для гравитационных маневров управляемого корабля, при этом возможность ее отслеживания с Земли практически минимальна. По мнению некоторых ученых, такое «поведение» объекта наводит на определенные мысли.
Результаты эксперимента в США в будущем могут позволить добиться разрешения на использование отработанной конопли в качестве кормовой добавки в животноводстве.
Команда исследователей из Сколтеха, МФТИ, Института искусственного интеллекта AIRI и других научных центров разработала метод, позволяющий не просто отличать тексты, написанные человеком, от сгенерированных нейросетью, но и понимать, по каким именно признакам классификатор принимает решение о том, является ли текст генерацией или нет. Анализируя внутренние состояния глубоких слоев языковой модели, ученые смогли выделить и интерпретировать численные признаки, отвечающие за стилистику, сложность и «степень уверенности» текста.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
ПонятноИз-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
ПонятноНаши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
ПонятноМы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Комментарии