«Яндекс» выложил в опенсорс суверенную языковую модель

«Яндекс» опубликовал базовую (pretrain) версию модели, дообученная версия которой используется при генерации ИИ-ответов в «Поиске». Выложили ее на платформе Hugging Face. Теперь разработчики смогут применять ее в своих проектах, а исследователи — изучать архитектуру модели.

Alice AI Search Pretrain прошла первый этап обучения. Большие вычислительные мощности при работе с ней не понадобятся. «Яндекс» использовал гибридную архитектуру, ранее встречавшуюся преимущественно в научных исследованиях. В ее основу легли две технологии: «Энкодер-декодер» (Encoder-Decoder) и MoE (Mixture of Experts).

За лаконичный ответ отвечает первая технология. Одна ее часть изучает и отбирает информацию, а другая генерирует ответ. Благодаря второй технологии модель работает быстрее и экономит вычислительные мощности. MoE задействует не всю нейросеть, а активирует только ту часть «мозга», что связана с конкретной темой.

Alice AI Search Pretrain состоит из 35 миллиардов параметров. Однако, когда ей нужно отработать один токен, то есть сгенерировать небольшой фрагмент текста, она использует около 600 миллионов параметров. Это менее двух процентов.

«Это средних размеров модель, которая расходует вычислительные ресурсы избирательно. Гибрид Encoder-Decoder и Mixture of Experts особенно логичен для поиска: модель должна обработать большой объем документов, выбрать главное и быстро сформировать короткий ответ», — пояснил Кирилл Пшинник, сооснователь университета «Зерокодер», научный сотрудник Иннополиса.

Несмотря на экономию ресурсов, качество ответов модели не страдает. Когда дело доходит до задач по русскому языку, модель «Яндекса» превосходит другие компактные языковые модели. Во время замеров, проводившихся методом слепого тестирования, Alice AI Search Pretrain отвечала лучше Qwen 3.5 2B и 4B и T5 Gemma 2 4B-4B Base. При сравнении с Qwen 3.5 35B-A3B, которой нужно намного больше вычислительных ресурсов, результаты оказались сопоставимыми.

«Яндекс» с июля начал использовать в «Поиске» дообученную версию этой модели — Alice AI Search из семейства генеративных моделей Alice AI. Чтобы модель давала емкие и понятные ответы, разработчики обучали ее, используя реальные примеры того, как люди взаимодействуют с «Поиском».

Ответы Alice AI Search помогают быстро разобраться в теме. Увидеть их можно под строкой поиска. Как отметили в «Яндексе», это самый популярный генеративный продукт компании: каждый месяц быстрыми ответами пользуются более 49 миллионов человек. Именно с его помощью люди чаще всего взаимодействуют с искусственным интеллектом.

От фокуса на объеме параметров к эффективности

История Alice AI Search Pretrain — пример общего тренда в развитии языковых моделей. Растет стоимость обучения и эксплуатации крупных нейросетей, из-за чего разработчикам приходится уделять внимание не только результату, но и тому, сколько вычислительных мощностей для него требуется.

«Важным становится не количество параметров, а качество, которое мы получаем на единицу вычислительных ресурсов», — рассказал Руслан Каюмов, академический руководитель онлайн-магистратуры «Прикладные нейросетевые технологии» ФКН НИУ ВШЭ.

Он пояснил, что индустрия уже создает открытые модели с триллионом параметров. Однако если просто увеличить размер модели, качество не обязательно вырастет пропорционально.

«Поэтому растет роль специализированных моделей, дистилляции, MoE, квантизации и вычислений непосредственно во время решения сложной задачи», — добавил Каюмов.

Один из способов сэкономить вычислительные ресурсы — использовать при каждом запросе только часть параметров. Этот принцип лег в основу архитектуры Mixture of Experts, которую используют многие передовые модели.

«Подход Mixture of Experts можно описать как ставку не на одного супер-умного эксперта, который знает все, а на группу экспертов, каждый из которых разбирается только в одной конкретной теме, зато очень хорошо», — уточнил Пшинник.

Академический руководитель совместной онлайн-магистратуры «Искусственный интеллект в маркетинге и управлении продуктом» ФКН НИУ ВШЭ Дмитрий Еременко рассказал, что разработчики переходят от наращивания размера моделей к эффективности. Многие ведущие модели строят на архитектуре Mixture of Experts, так как на каждом шаге там работает только часть параметров.

«Например, у DeepSeek V3 671 млрд параметров, но при обработке одного токена задействовано 37 миллиардов. Сдвиг объясняется в первую очередь тем, что обучение каждой новой модели дорожает, а на обработку запросов пользователей уходит уже больше половины всех вычислений в отрасли», — отметил Еременко.

Модель теперь нужно оценивать не только по размеру, но и по тому, сколько параметров она задействует для каждого запроса, а также по ее приспособленности к задаче.

Поиск более эффективных способов работы с моделями представляет интерес и для академических исследований. Например, ученые ФКН НИУ ВШЭ предложили метод ProcrustesGPT. Он позволил уменьшать размер языковых моделей минимум на 25 процентов, при этом дополнительное обучение для этого не требуется, а качество почти не теряется.

Открытые разработки как основа для будущих открытий

Открытые базовые модели — фундамент для исследований, дообучения и создания производных решений. Они позволяют снизить порог входа в исследования и разработку.

«Исследователь или компания может не повторять чрезвычайно дорогой этап обучения с нуля, а сразу экспериментировать с дальнейшим дообучением и специализацией», — рассказал Каюмов.

Еременко добавил, что открытая базовая модель становится отправной точкой для дальнейшей работы — ее можно адаптировать под конкретную предметную область, изменить формат ответов или сделать более компактной.

«Открытые модели стали базой, на которой разработчики строят собственные модели и продукты. Исследователи могут проверять архитектуру на своих данных, вузы получают учебный материал, а компании берут открытые веса, чтобы дообучить модель, запустить ее локально ради конфиденциальности данных или сжать в более компактную версию», — пояснил Еременко.

«Большинству компаний обучать собственную языковую модель с нуля не нужно. Готовая открытая модель, дообучение и RAG почти всегда дадут результат быстрее и дешевле. Своя модель оправдана, когда есть уникальные данные, особые требования к языку, безопасности или архитектуре, либо настолько большой поток запросов, что даже небольшое снижение стоимости каждого ответа окупает обучение, — рассказал Пшинник. — Поиск «Яндекса» — один из таких случаев: это специфическая задача, собственные пользовательские сигналы и огромный масштаб. В этом случае оптимизация модели под продукт может дать больший эффект, чем использование более мощной, но универсальной модели».

«Для технологических лидеров способность самостоятельно создавать фундаментальные модели — это еще и показатель уровня собственных компетенций, значимый как для компании, так и для страны в целом», — подчеркнул Каюмов.

Россия на фоне мировых трендов

В мире есть не так много стран, у которых есть собственные языковые модели, работающие в массовых продуктах. Россия — одна из них.

«В России, безусловно, есть сильные разработки и исследовательские команды. Радует и то, что существуют модели, разработанные российскими компаниями и уже интегрированные в массовые продукты и серьезную инфраструктуру», — заметил Каюмов.

Перспективным направлением для российских разработчиков может стать именно повышение эффективности моделей и развитие открытых решений.

Дмитрий Еременко также считает, что дальнейшее развитие искусственного интеллекта в России зависит от того, насколько активно будут развиваться открытые модели, независимые тесты и компетенции по их внедрению.

«Сдвиг к эффективным архитектурам работает в пользу компаний, которые делают компактные модели под конкретный продукт, и российские разработчики идут именно этим путем. Будущее развитие зависит от того, будут ли компании и дальше открывать веса базовых моделей, будут ли развиваться независимые тесты для русского языка и хватит ли специалистов, способных встраивать модели в бизнес-процессы», — полагает Еременко.

Он считает, что сейчас нехватка таких специалистов ограничивает отрасль сильнее, чем нехватка вычислительной мощности.

Пшинник отметил, что для ИИ в России и его развития важны открытые базовые модели, данные, инструменты и воспроизводимые исследования, вокруг которых смогут работать компании и университеты.

«Перспективный путь — создавать специализированные архитектуры, качественные русскоязычные корпуса и бенчмарки, улучшать токенизацию русского языка и снижать стоимость инференса. Для дальнейшего развития российского ИИ стране нужны открытые базовые модели, данные, инструменты и воспроизводимые исследования, вокруг которых смогут работать компании и университеты», — подчеркнул Пшинник.

Закладка

Скопировать ссылку

Email

Печать

Twitter

VK

Telegram