Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Российские ученые представили новую архитектуру быстрых языковых моделей
Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новую архитектуру быстрых языковых моделей ReBased для специализированных задач по обработке естественного языка. Преимуществами новой архитектуры авторы называют экономичность и эффективность.
ReBased требует меньше вычислительных ресурсов и ускоряет работу с длинным текстом, почти не теряя в качестве. Это важно для широкого коммерческого внедрения языковых моделей, а также имеет значение для экологии. Более низкая нагрузка на вычислительные мощности позволит сократить энергопотребление, а значит, работа крупных дата-центров будет меньше сказываться на окружающей среде.
В новой разработке ученые T-Bank AI Research проанализировали и откорректировали архитектуру Based, которую в конце 2023 года представили стэнфордские ученые. Они доработали механизм извлечения информации из текста, добавив новые обучаемые параметры, отвечающие за оптимальный поиск взаимосвязей между частями текста. Другое усовершенствование упростило алгоритм выделения информации из текста, что повысило производительность и качество работы архитектуры. В результате понимание взаимосвязей в тексте в среднем улучшилось на 10%.
Новая архитектура может снизить издержки на использование ИИ для специализированных задач с конкретной областью применения и рядом особенностей, которые нужно учитывать. Как пример — в области медицины это может быть классификация текстов на основе симптомов и диагнозов.
Основанные на ReBased модели менее требовательны к ресурсам, но при этом качество генерируемых текстов практически не страдает.
Специалисты T-Bank AI Research провели эксперименты на датасете MQAR (Multi-Query Associative Recall), позволяющем оценить способность модели к контекстуальному обучению, а именно к ассоциативному запоминанию (запоминанию не связанных пар объектов), например: лицо человека — его имя.
Подробное описание модели и результаты экспериментов они опубликовали в статье Linear Transformers with Learnable Kernel Functions are Better In-Context Models. Исходный код и дополнительные материалы доступны на GitHub.
Ученые представили это исследование на 63-й Международной ежегодной конференции по компьютерной лингвистике (ACL). Она прошла в Бангкоке (Таиланд) с 11 по 16 августа 2024 года и считается главным научным мероприятием в области обработки естественного языка в мире.
Выдержки из работы в своих статьях приводили представители Принстонского университета и Университета Карнеги-Меллона — одни из самых известных исследователей эффективности ИИ. Их наработки применяются почти во всех языковых моделях.
Ученые T-Bank AI Research убеждены, что в перспективе линейные модели, подобные ReBased, будут использоваться все чаще в комбинации с трансформерами в качестве составной части гибридных архитектур, поскольку они сочетают в себе скорость и высокое качество выполнения задач.
Предприятия Научного дивизиона госкорпорации «Росатом» и группа строительных компаний «Реформа» заключили договор о сотрудничестве и впервые применили для демонтажа высотных металлических конструкций — кранов-перегружателей — мобильный лазерный комплекс. МЛК, разработанный в стенах одного из институтов «Росатома», не имеет аналогов в стране.
Ученые выяснили, что микробный состав почв, которые возделывал человек, возвращается к исходному состоянию только спустя 60 лет. К такому выводу пришли исследователи, сравнив почвы в разных частях национального парка «Смоленское Поозерье». Полученные данные помогут оценивать, вернулась ли почва к исходному состоянию после активного сельскохозяйственного использования, и разрабатывать мероприятия для восстановления нарушенных ранее территорий.
Человеку важны самовыражение и уникальность, но стремление к ним может расходиться с другими социальными потребностями, связанными с чувством принадлежности к группе и общности с ней. Некоторые прошлые исследования показали, что в борьбе этих противоречий желание выделяться проигрывает и в последние годы снижается, но систематически тенденцию не изучали. Психологи из Университета штата Мичиган (США) решили выяснить, как изменилась потребность отличаться от других за последние 20 лет.
Сверхглубокое бурение в Атлантическом океане увенчалось успехом. Ученым удалось заглянуть в «тектоническое окно» и добыть почти непрерывный образец верхней мантии длиной более километра. Анализ минерального состава преподнес первые сюрпризы.
Ученые выяснили, что микробный состав почв, которые возделывал человек, возвращается к исходному состоянию только спустя 60 лет. К такому выводу пришли исследователи, сравнив почвы в разных частях национального парка «Смоленское Поозерье». Полученные данные помогут оценивать, вернулась ли почва к исходному состоянию после активного сельскохозяйственного использования, и разрабатывать мероприятия для восстановления нарушенных ранее территорий.
Предприятия Научного дивизиона госкорпорации «Росатом» и группа строительных компаний «Реформа» заключили договор о сотрудничестве и впервые применили для демонтажа высотных металлических конструкций — кранов-перегружателей — мобильный лазерный комплекс. МЛК, разработанный в стенах одного из институтов «Росатома», не имеет аналогов в стране.
Выглядеть хорошо на фото в выпускном альбоме оказывается важно не только потому, что по красивым снимкам позже будет приятнее вспоминать ушедшую юность. Американские ученые недавно выяснили, что наименее привлекательные люди в школьных фотоальбомах прожили меньше своих более симпатичных сверстников.
Сверхглубокое бурение в Атлантическом океане увенчалось успехом. Ученым удалось заглянуть в «тектоническое окно» и добыть почти непрерывный образец верхней мантии длиной более километра. Анализ минерального состава преподнес первые сюрпризы.
Ученые выяснили, что голый землекоп — подземный грызун, живущий до 40 лет, — утратил ряд функциональных генов CD1. Гены семейства CD1 у млекопитающих отвечают за синтез белков, участвующих в защите организма от инфекционных заболеваний. Полученные данные указывают на то, что иммунная система голого землекопа значительно перестроилась и использует другие — CD1-независимые —молекулярные механизмы.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
ПонятноИз-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
ПонятноНаши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
ПонятноМы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
ПонятноМы скоро прочитаем его и свяжемся с Вами по указанной почте. Спасибо за интерес к проекту.
Понятно
Комментарии