Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Российские ученые представили новую архитектуру быстрых языковых моделей
Ученые из лаборатории исследований искусственного интеллекта T-Bank AI Research разработали новую архитектуру быстрых языковых моделей ReBased для специализированных задач по обработке естественного языка. Преимуществами новой архитектуры авторы называют экономичность и эффективность.
ReBased требует меньше вычислительных ресурсов и ускоряет работу с длинным текстом, почти не теряя в качестве. Это важно для широкого коммерческого внедрения языковых моделей, а также имеет значение для экологии. Более низкая нагрузка на вычислительные мощности позволит сократить энергопотребление, а значит, работа крупных дата-центров будет меньше сказываться на окружающей среде.
В новой разработке ученые T-Bank AI Research проанализировали и откорректировали архитектуру Based, которую в конце 2023 года представили стэнфордские ученые. Они доработали механизм извлечения информации из текста, добавив новые обучаемые параметры, отвечающие за оптимальный поиск взаимосвязей между частями текста. Другое усовершенствование упростило алгоритм выделения информации из текста, что повысило производительность и качество работы архитектуры. В результате понимание взаимосвязей в тексте в среднем улучшилось на 10%.
Новая архитектура может снизить издержки на использование ИИ для специализированных задач с конкретной областью применения и рядом особенностей, которые нужно учитывать. Как пример — в области медицины это может быть классификация текстов на основе симптомов и диагнозов.
Основанные на ReBased модели менее требовательны к ресурсам, но при этом качество генерируемых текстов практически не страдает.
Специалисты T-Bank AI Research провели эксперименты на датасете MQAR (Multi-Query Associative Recall), позволяющем оценить способность модели к контекстуальному обучению, а именно к ассоциативному запоминанию (запоминанию не связанных пар объектов), например: лицо человека — его имя.
Подробное описание модели и результаты экспериментов они опубликовали в статье Linear Transformers with Learnable Kernel Functions are Better In-Context Models. Исходный код и дополнительные материалы доступны на GitHub.
Ученые представили это исследование на 63-й Международной ежегодной конференции по компьютерной лингвистике (ACL). Она прошла в Бангкоке (Таиланд) с 11 по 16 августа 2024 года и считается главным научным мероприятием в области обработки естественного языка в мире.
Выдержки из работы в своих статьях приводили представители Принстонского университета и Университета Карнеги-Меллона — одни из самых известных исследователей эффективности ИИ. Их наработки применяются почти во всех языковых моделях.
Ученые T-Bank AI Research убеждены, что в перспективе линейные модели, подобные ReBased, будут использоваться все чаще в комбинации с трансформерами в качестве составной части гибридных архитектур, поскольку они сочетают в себе скорость и высокое качество выполнения задач.
Telegram 
Дзен 
VK Согласно учебникам истории, в бронзовом веке в казахской степи кочевали лишь немногочисленные племена со своими стадами. Но в начале 2000-х там обнаружили древнее поселение с остатками крупных домов, которое могло быть административным либо культурным центром. Это навело ученых на мысль, что жизнь в степи складывалась куда сложнее и была более организованной, чем предполагалось. Международная команда ученых представила новые результаты исследования этого поселения и выяснила, что на самом деле оно представляло собой крупнейший в этом регионе протогородской центр с масштабным производством оловянистой бронзы.
В темных лабиринтах подземного муравейника разыгрывается коварный сценарий, достойный политического триллера. Вместо того чтобы силой захватить трон, королева одного вида муравьев применяет хитрую тактику. Она проникает в чужую крепость и с помощью поддельного химического сигнала подстрекает верную стражу к свержению собственной повелительницы. Результат — жестокая казнь законной королевы и добровольное подчинение всего муравейника новой владычице.
В 2025 году российская атомная отрасль отмечает 80-летие — от первого ядерного реактора до космических амбиций и повседневных чудес. Знаете ли вы, когда ученые признали реальность атомов, сколько известно видов радиоактивного распада или когда на полях стали выращивать мутантов?
Согласно учебникам истории, в бронзовом веке в казахской степи кочевали лишь немногочисленные племена со своими стадами. Но в начале 2000-х там обнаружили древнее поселение с остатками крупных домов, которое могло быть административным либо культурным центром. Это навело ученых на мысль, что жизнь в степи складывалась куда сложнее и была более организованной, чем предполагалось. Международная команда ученых представила новые результаты исследования этого поселения и выяснила, что на самом деле оно представляло собой крупнейший в этом регионе протогородской центр с масштабным производством оловянистой бронзы.
Ю-Цон Тан (YuCong Tang) — концептуальный художник из Китая. Научно-фантастические мотивы — одно из основных направлений его творчества. Он исследует, как научные открытия и технологии будущего трансформируют среду обитания.
Наблюдая за сверхновой 2024 ggi спустя всего 26 часов после вспышки, астрономы напрямую определили форму ударной волны в момент ее прорыва из звезды. Открытие позволит уточнить механизмы гибели массивных светил и может привести к пересмотру существующих моделей возникновения сверхновых.
Проанализировав данные наблюдений, полученных с помощью наземных обсерваторий за последние два десятилетия, астрономы обнаружили потенциально обитаемый мир — суперземлю Gliese 251 c (GJ 251 с). Планета обращается вокруг красного карлика на расстоянии около 18 световых лет от Земли и считается одним из самых перспективных кандидатов для поисков жизни.
По расчетам, большинство «гостей» из других звездных систем летят к Земле примерно со стороны созвездия Геркулес. Скорее всего, они время от времени падают на нашу планету, просто мы еще не научились это замечать. Как удалось вычислить, чаще всего они должны падать зимой и где-то в окрестностях экватора.
В современном доме, насыщенном разнообразной техникой, удлинители стали незаменимым атрибутом, позволяющим обеспечить электропитанием все необходимые устройства. Однако мало кто задумывается, что привычное использование этого аксессуара может нести серьезную угрозу безопасности. По статистике, значительная часть бытовых пожаров происходит из-за неправильной эксплуатации электропроводки и вспомогательных устройств. Какие приборы категорически нельзя подключать через удлинители и почему это может привести к трагическим последствиям, рассказывает профессор кафедры наноэлектроники РТУ МИРЭА, доктор физико-математических наук Алексей Юрасов.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно
Последние комментарии