Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Российские ученые представили новую архитектуру быстрых языковых моделей
Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новую архитектуру быстрых языковых моделей ReBased для специализированных задач по обработке естественного языка. Преимуществами новой архитектуры авторы называют экономичность и эффективность.
ReBased требует меньше вычислительных ресурсов и ускоряет работу с длинным текстом, почти не теряя в качестве. Это важно для широкого коммерческого внедрения языковых моделей, а также имеет значение для экологии. Более низкая нагрузка на вычислительные мощности позволит сократить энергопотребление, а значит, работа крупных дата-центров будет меньше сказываться на окружающей среде.
В новой разработке ученые T-Bank AI Research проанализировали и откорректировали архитектуру Based, которую в конце 2023 года представили стэнфордские ученые. Они доработали механизм извлечения информации из текста, добавив новые обучаемые параметры, отвечающие за оптимальный поиск взаимосвязей между частями текста. Другое усовершенствование упростило алгоритм выделения информации из текста, что повысило производительность и качество работы архитектуры. В результате понимание взаимосвязей в тексте в среднем улучшилось на 10%.
Новая архитектура может снизить издержки на использование ИИ для специализированных задач с конкретной областью применения и рядом особенностей, которые нужно учитывать. Как пример — в области медицины это может быть классификация текстов на основе симптомов и диагнозов.
Основанные на ReBased модели менее требовательны к ресурсам, но при этом качество генерируемых текстов практически не страдает.
Специалисты T-Bank AI Research провели эксперименты на датасете MQAR (Multi-Query Associative Recall), позволяющем оценить способность модели к контекстуальному обучению, а именно к ассоциативному запоминанию (запоминанию не связанных пар объектов), например: лицо человека — его имя.
Подробное описание модели и результаты экспериментов они опубликовали в статье Linear Transformers with Learnable Kernel Functions are Better In-Context Models. Исходный код и дополнительные материалы доступны на GitHub.
Ученые представили это исследование на 63-й Международной ежегодной конференции по компьютерной лингвистике (ACL). Она прошла в Бангкоке (Таиланд) с 11 по 16 августа 2024 года и считается главным научным мероприятием в области обработки естественного языка в мире.
Выдержки из работы в своих статьях приводили представители Принстонского университета и Университета Карнеги-Меллона — одни из самых известных исследователей эффективности ИИ. Их наработки применяются почти во всех языковых моделях.
Ученые T-Bank AI Research убеждены, что в перспективе линейные модели, подобные ReBased, будут использоваться все чаще в комбинации с трансформерами в качестве составной части гибридных архитектур, поскольку они сочетают в себе скорость и высокое качество выполнения задач.
Telegram 
Дзен 
VK Паническое расстройство характеризуется физическим напряжением, усиленным сердцебиением и одышкой. Ученые из Бразилии нашли способ бороться с этим недугом, создавая схожее физическое напряжение, но в спокойной и контролируемой обстановке — во время физупражнений.
Новое исследование показало, что сплоченное сообщество людей, проживающих на крайнем юге Пелопоннесского полуострова, более тысячи лет было генетически изолировано и может проследить свои корни вплоть до бронзового века.
За десятки километров от побережья Гренландии лежат скалистые острова Китсиссут, которые на первый взгляд кажутся неприступными для людей, не имеющих современных лодок и других технологий. Однако авторы нового исследования выяснили, что тысячи лет назад люди все же смогли достичь этих суровых земель. Мореплаватели каменного века не просто посещали острова — они обосновались там, совершив одно из самых длинных и опасных морских путешествий в истории древней Арктики.
В 1980-х годах большую популярность приобрела борьба с озоновыми дырами. Из-за нее хладагенты из хлорфторгулеродов заменили на аналоги из гидрофторуглеродов. Теперь ученые выяснили, что эта замена — как и следующие за ней, уже в рамках борьбы с глобальным потеплением — ведет к накоплению в атмосфере довольно опасных «вечных химикатов».
Группа ученых представила расчеты, по которым события в центре Млечного Пути можно объяснить без черной дыры. Правда, с физической точки зрения новое объяснение существенно более экзотично — настолько, что возникает вопрос о его соответствии бритве Оккама.
Ученые из МФТИ, НИУ ВШЭ и ОИВТ РАН показали, что жидкость может перейти в стеклообразное состояние под действием давления. Эта работа не только раскрывает механизм перехода, заполняя пробелы в фундаментальных вопросах физики, но и предлагает подход, с высокой точностью моделирующий поведение материалов в экстремальных условиях.
От рыб произошли все наземные позвоночные, включая нас, но как именно рыбы стали главным населением морей — до последнего времени оставалось неясным. Авторы новой научной работы попытались доказать, что причиной этого было вымирание, возможно, вызванное белыми ночами.
Международная команда палеонтологов описала новый вид динозавра размером с крупную современную птицу. Он носил на голове плотный костяной нарост, который эти животные, возможно, использовали для внутривидовых разборок. Находка показывает, что даже мелкие хищники мелового периода могли решать конфликты не только когтями и зубами, но и ударами головой.
Образцы грунта, взятые астронавтами полвека назад, вложили еще один важный кирпич в здание научной картины мира: гипотеза о том, что Земля исходно была сухой, не стыкуется с фактами. Похоже, идею о невозможности сохранения большого количества воды на «теплых» планетах придется пересмотреть.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии