Российские ученые представили новую архитектуру быстрых языковых моделей
Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новую архитектуру быстрых языковых моделей ReBased для специализированных задач по обработке естественного языка. Преимуществами новой архитектуры авторы называют экономичность и эффективность.
ReBased требует меньше вычислительных ресурсов и ускоряет работу с длинным текстом, почти не теряя в качестве. Это важно для широкого коммерческого внедрения языковых моделей, а также имеет значение для экологии. Более низкая нагрузка на вычислительные мощности позволит сократить энергопотребление, а значит, работа крупных дата-центров будет меньше сказываться на окружающей среде.
В новой разработке ученые T-Bank AI Research проанализировали и откорректировали архитектуру Based, которую в конце 2023 года представили стэнфордские ученые. Они доработали механизм извлечения информации из текста, добавив новые обучаемые параметры, отвечающие за оптимальный поиск взаимосвязей между частями текста. Другое усовершенствование упростило алгоритм выделения информации из текста, что повысило производительность и качество работы архитектуры. В результате понимание взаимосвязей в тексте в среднем улучшилось на 10%.
Новая архитектура может снизить издержки на использование ИИ для специализированных задач с конкретной областью применения и рядом особенностей, которые нужно учитывать. Как пример — в области медицины это может быть классификация текстов на основе симптомов и диагнозов.
Основанные на ReBased модели менее требовательны к ресурсам, но при этом качество генерируемых текстов практически не страдает.
Специалисты T-Bank AI Research провели эксперименты на датасете MQAR (Multi-Query Associative Recall), позволяющем оценить способность модели к контекстуальному обучению, а именно к ассоциативному запоминанию (запоминанию не связанных пар объектов), например: лицо человека — его имя.
Подробное описание модели и результаты экспериментов они опубликовали в статье Linear Transformers with Learnable Kernel Functions are Better In-Context Models. Исходный код и дополнительные материалы доступны на GitHub.
Ученые представили это исследование на 63-й Международной ежегодной конференции по компьютерной лингвистике (ACL). Она прошла в Бангкоке (Таиланд) с 11 по 16 августа 2024 года и считается главным научным мероприятием в области обработки естественного языка в мире.
Выдержки из работы в своих статьях приводили представители Принстонского университета и Университета Карнеги-Меллона — одни из самых известных исследователей эффективности ИИ. Их наработки применяются почти во всех языковых моделях.
Ученые T-Bank AI Research убеждены, что в перспективе линейные модели, подобные ReBased, будут использоваться все чаще в комбинации с трансформерами в качестве составной части гибридных архитектур, поскольку они сочетают в себе скорость и высокое качество выполнения задач.
Telegram 
Дзен 
VK Исследователи из МИЭМ ВШЭ и ИПКОН РАН разработали новую математическую модель мониторинга, которая позволяет фиксировать источник опасных подземных вибраций в реальном времени. Технология поможет снизить риск повреждения зданий, дорог и другой инфраструктуры рядом с карьерами и шахтами.
Планетологи обнаружили на поверхностях Титана и Плутона схожую полосу поглощения, которая не совпадает со спектрами известных льдов или органических соединений. Этот загадочный «провал» может указывать на то, что на двух очень разных ледяных мирах Солнечной системы существует общий, пока неизвестный науке класс химических веществ, поглощающий свет, который формируется под действием экстремального холода и космической радиации.
Ученые Сеченовского Университета установили, что возраст существенно меняет реакцию нейронов на ишемический инсульт: у пожилых пациентов клетки мозга быстрее теряют способность поддерживать энергетический обмен и значительно чаще запускают программу клеточной гибели. Эти изменения могут быть одной из причин, почему стандартные нейропротективные подходы нередко оказываются менее эффективными у пациентов старших возрастных групп.
Паразитические организмы иногда не учитывают, что сами могут оказаться целью паразита более высокого уровня. Сосредотачивая все свои силы на инфицировании и размножении, они остаются беззащитными перед агрессивным специализированным нахлебником.
Интригующие испытания высотного ракетного двигателя Raptor Vacuum для корабля Starship, верхней ступени сверхракеты Илона Маска, парадоксальны. Его работа на уровне моря уже сама по себе загадка. Ведь, по классическим представлениям, высотные двигатели на уровне моря корректно не работают. А сопло RaptorVAC на наземном стенде извергает реактивную струю без всяких признаков нарушения работы. Как такое может быть?
В нижних и верхних слоях Урана астрономы впервые зарегистрировали угарный газ и циановодород. Новые данные указали на то, что недра планеты могут быть значительно обогащены кислородом. Это открытие поможет разрешить давнюю загадку о том, сформировался ли Уран иначе, чем его ближайший сосед Нептун, или их образование шло по схожему сценарию.
Хотя длительность помех не превышала десяти секунд, это первый известный случай такого рода. Обычно спутникам не хватает мощности для создания радиосигналов той силы, что нужна для подобных помех.
В доколумбовых Андах принадлежность к правящему роду определяла доступ к земле, торговле и статусу, поэтому удержать все внутри семьи было вопросом выживания. Ученые выяснили, что элиты долины Чинча решали эту задачу самым прямым способом — заключая браки между родственниками на протяжении как минимум двух поколений.
Вначале Reuters опубликовал статью о взаимоотношениях SpaceX и Пентагона, которую миллиардер --- традиционно для его отношений с этим изданием — назвал фейком. Опровергая ее тезисы, он обнародовал информацию, не представленную ранее публично.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии