Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Ученые упростили и ускорили дообучение нейросетей
Исследователи из ВШЭ и AIRI предложили метод быстрой донастройки нейросетей: данные обрабатываются по группам, которые затем перемешивают оптимальным образом, чтобы улучшить их взаимодействие. Метод лучше аналогов справляется с генерацией и анализом изображений, дообучением текстовых моделей. При этом он требует меньше памяти и времени на обучение.
Результаты работы были представлены на конференции NeurIPS 2024. Чем больше нейросеть, тем сложнее быстро подстроить ее под новую задачу. Переобучать модель с нуля — это долго и дорого. Поэтому разработчики ищут бюджетные способы адаптировать ее под конкретную задачу, сохранив при этом общее качество исходной версии.
Один из них — донастройка с помощью ортогональных матриц: в отличие от альтернативных подходов, они сохраняют важные признаки исходной модели. Но у популярных вариантов вроде блочно-диагональных или бабочковых (Butterfly) матриц есть недостатки: они либо ограничены, либо требуют множества вычислений.
Исследователи факультета компьютерных наук НИУ ВШЭ и AIRI предложили новый способ построения матриц, который назвали «Группируй и перемешивай» (Group-and-Shuffle). Вместо того чтобы работать со всеми данными, они делят ее параметры на небольшие группы, обрабатывают каждую отдельно и перемешивают между собой. Такая структура оказалась одновременно гибкой и компактной: она помогает модели точнее подстраиваться под задачу, но при этом требует меньше вычислений и памяти.
На основе GS-матриц исследователи разработали метод GSOFT — новую реализацию ортогональной донастройки нейросетей. В отличие от предыдущих подходов, GSOFT использует меньше параметров, но сохраняет стабильность и качество обучения даже при малом объеме данных. Команда также предложила двусторонний вариант метода — Double GSOFT, который позволяет изменять параметры сразу с двух сторон, повышая гибкость и точность модели.
«Мы придумали, как формировать ортогональные матрицы, используя всего две матрицы специального вида, а не пять-шесть, как в прежних подходах. Это экономит ресурсы и время обучения», — объясняет Николай Юдин, стажер-исследователь Научно-учебной лаборатории матричных и тензорных методов в машинном обучении НИУ ВШЭ.
Исследователи протестировали подход на трех типах задач. В дообучении языковой модели RoBERTa метод работал лучше при сопоставимом числе параметров. В генерации изображений, где модель должна сохранять черты оригинала, но подстраиваться под запрос пользователя, GSOFT и Double GSOFT справились лучше популярных подходов вроде LoRA и BOFT, при этом они требуют меньше памяти и времени на обучение.
Авторы также протестировали свой подход на сверточных нейросетях, которые чаще всего используют для анализа изображений и видео — например, в распознавании лиц. Они адаптировали GS-матрицы даже для тех случаев, когда от модели требуется высокая устойчивость к помехам и искажениям.
«Мы проверили метод в различных сценариях — от языковых и генеративных моделей до устойчивых сверточных сетей. В каждом из них он работал надежно и при меньших затратах ресурсов. Это подтверждает, что мы можем использовать метод для разных целей», — комментирует старший научный сотрудник Центра глубинного обучения и байесовских методов Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ, руководитель группы “Контролируемый генеративный ИИ” Лаборатории FusionBrain Института AIRI Айбек Аланов.
Telegram 
Дзен 
VK Квантовую механику активно применяют не только в науке, но и при некоторых расчетах, связанных с работой электроники. Несмотря на заметные практические результаты, эта отрасль науки не имеет единых взглядов на то, как на самом деле устроена та самая физическая реальность, которую квантовая механика призвана описывать.
В древней истории скифы занимали значительное место. Их внешность и обычаи подробно описал Геродот. Скифские курганы распространены по всей Евразийской степи — от Внутренней Монголии до севера Причерноморья. Одна из характерных черт материальной культуры — знаменитый звериный стиль. Археология не дала убедительных ответов на вопросы о происхождении скифов, а также о том, кто их прямые потомки. Ученые возлагают надежды на палеогенетику.
Люди часто говорят, что хотели бы построить длительные отношения прежде всего с добрым, внимательным и надежным человеком, однако большое внимание уделяют внешнему виду потенциального партнера. Исследователи из США обнаружили психологический фактор, объясняющий это противоречие и влияющий на значимость физической привлекательности при выборе «второй половинки» в каждом отдельном случае.
Прибывшая из межзвездного пространства предполагаемая комета 3I/ATLAS движется по траектории, максимально удобной для гравитационных маневров управляемого корабля, при этом возможность ее отслеживания с Земли практически минимальна. По мнению некоторых ученых, такое «поведение» объекта наводит на определенные мысли.
В эксперименте ученые проследили за физиологическими реакциями при просмотре видео с музыкальным сопровождением, созданным нейросетями либо людьми. Результаты показали, что по эмоциональному воздействию ИИ-композиции могут сравниться с человеческими.
Физики впервые смогли напрямую наблюдать спиновые волны, или магноны, внутри материала с нанометровым разрешением. Это достижение открывает путь к созданию нового поколения электроники, более быстрой и энергоэффективной.
Прибывшая из межзвездного пространства предполагаемая комета 3I/ATLAS движется по траектории, максимально удобной для гравитационных маневров управляемого корабля, при этом возможность ее отслеживания с Земли практически минимальна. По мнению некоторых ученых, такое «поведение» объекта наводит на определенные мысли.
Результаты эксперимента в США в будущем могут позволить добиться разрешения на использование отработанной конопли в качестве кормовой добавки в животноводстве.
Команда исследователей из Сколтеха, МФТИ, Института искусственного интеллекта AIRI и других научных центров разработала метод, позволяющий не просто отличать тексты, написанные человеком, от сгенерированных нейросетью, но и понимать, по каким именно признакам классификатор принимает решение о том, является ли текст генерацией или нет. Анализируя внутренние состояния глубоких слоев языковой модели, ученые смогли выделить и интерпретировать численные признаки, отвечающие за стилистику, сложность и «степень уверенности» текста.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно