Российские ученые представили новую архитектуру быстрых языковых моделей
Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новую архитектуру быстрых языковых моделей ReBased для специализированных задач по обработке естественного языка. Преимуществами новой архитектуры авторы называют экономичность и эффективность.
ReBased требует меньше вычислительных ресурсов и ускоряет работу с длинным текстом, почти не теряя в качестве. Это важно для широкого коммерческого внедрения языковых моделей, а также имеет значение для экологии. Более низкая нагрузка на вычислительные мощности позволит сократить энергопотребление, а значит, работа крупных дата-центров будет меньше сказываться на окружающей среде.
В новой разработке ученые T-Bank AI Research проанализировали и откорректировали архитектуру Based, которую в конце 2023 года представили стэнфордские ученые. Они доработали механизм извлечения информации из текста, добавив новые обучаемые параметры, отвечающие за оптимальный поиск взаимосвязей между частями текста. Другое усовершенствование упростило алгоритм выделения информации из текста, что повысило производительность и качество работы архитектуры. В результате понимание взаимосвязей в тексте в среднем улучшилось на 10%.
Новая архитектура может снизить издержки на использование ИИ для специализированных задач с конкретной областью применения и рядом особенностей, которые нужно учитывать. Как пример — в области медицины это может быть классификация текстов на основе симптомов и диагнозов.
Основанные на ReBased модели менее требовательны к ресурсам, но при этом качество генерируемых текстов практически не страдает.
Специалисты T-Bank AI Research провели эксперименты на датасете MQAR (Multi-Query Associative Recall), позволяющем оценить способность модели к контекстуальному обучению, а именно к ассоциативному запоминанию (запоминанию не связанных пар объектов), например: лицо человека — его имя.
Подробное описание модели и результаты экспериментов они опубликовали в статье Linear Transformers with Learnable Kernel Functions are Better In-Context Models. Исходный код и дополнительные материалы доступны на GitHub.
Ученые представили это исследование на 63-й Международной ежегодной конференции по компьютерной лингвистике (ACL). Она прошла в Бангкоке (Таиланд) с 11 по 16 августа 2024 года и считается главным научным мероприятием в области обработки естественного языка в мире.
Выдержки из работы в своих статьях приводили представители Принстонского университета и Университета Карнеги-Меллона — одни из самых известных исследователей эффективности ИИ. Их наработки применяются почти во всех языковых моделях.
Ученые T-Bank AI Research убеждены, что в перспективе линейные модели, подобные ReBased, будут использоваться все чаще в комбинации с трансформерами в качестве составной части гибридных архитектур, поскольку они сочетают в себе скорость и высокое качество выполнения задач.
Telegram 
Дзен 
VK Американские палеонтологи собрали первую научно достоверную копию скелета Deinosuchus schwimmeri — суперхищника длиной 9,5 метра, обитавшего в меловом периоде. В процессе реконструкции ученые провели ревизию уже найденных окаменелостей, упразднили один сомнительный вид и описали новый. В итоге исследователи классифицировали животное как предка аллигаторов, а еще нашли у него интересные анатомические особенности пока неясного назначения.
Авторы новой работы утверждают, что общий предок всего живого (LUCA) по сути не был свободноживущим организмом. А его потомки, чтобы стать такими, пошли двумя принципиально разными путями, образовав две принципиально разные группы существ.
Связь между депрессивными расстройствами и повышенным риском когнитивных нарушений известна давно, однако ее биологические механизмы оставались неясными. Ученые выяснили, что у людей с депрессией отдельная область гиппокампа, ответственная за память, меньше.
Остров Пекан недалеко от Мексиканского залива в Луизиане вскоре перейдет в собственность компании Илона Маска. Здесь будет новый космодром для Starship, почти в 20 раз больше, чем в Бока-Чике, где уже стоят две стартовых площадки. Уникальное местоположение позволит компании попытаться реализовать амбициозную цель о запуске миллиона низкоорбитальных спутников на орбиты, где сегодня находится подавляющее меньшинство спутников Земли.
Животные нередко оценивают безопасность незнакомой пищи по поведению сородичей и представителей других видов. Эксперименты ученых в Альпах показали, что вороны не спешат подходить к новому месту кормления, пока к еде не приступят кабаны, ориентируясь на них в рискованной ситуации.
В Тюмени у «Газпром нефти» естественным образом сформировался большой научно-исследовательский кластер. В городе расположено более десятка институтов и образовательных центров, филиалы РАН, а в 2024 году на полную мощность заработал исследовательский центр «Геосфера». Корреспондент Naked Science побывала в Тюмени по приглашению «Газпром нефти». Рассказываем об этом опыте в подробностях.
Долгое время считалось, что до прихода европейцев тропические леса Амазонии были заселены сравнительно плохо. Однако выяснилось, что плотная растительность скрывает большинство следов древних обществ. С помощью воздушного лазерного сканирования ученые обнаружили сотни неизвестных земляных сооружений и предположили, что около двух тысяч лет назад население юго-западной части Амазонии могло достигать трех миллионов человек.
Видеосервисы стали неотъемлемой частью жизни россиян. В 2026 году охваты большинства платформ продолжают расти, в том числе YouTube.
Очереди на заправках стали привычным явлением в России, а на фоне информационного вакуума от властей о конкретных показателях производства бензина в июне население вынуждено ориентироваться на слухи. Все это выглядит довольно странно, но есть нюанс: скорее всего, кризис уже начинает выдыхаться. Как именно мы это выяснили?
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии