Уведомления
Авторизуйтесь или зарегистрируйтесь, чтобы оценивать материалы, создавать записи и писать комментарии.
Авторизуясь, вы соглашаетесь с правилами пользования сайтом и даете согласие на обработку персональных данных.
Виртуальные птицы и синтетические камни: в МАИ рассказали о том, как «думают» нейросети
Зачем искусственному интеллекту миллионы синтетических «камней», как создать виртуального врача и при чем здесь «метод Монте-Карло»? Об этом и многом другом рассказал научный сотрудник института «Компьютерные науки и прикладная математика» МАИ, директор департамента цифровой трансформации в компании BetBoom Юрий Чайников.
Пользуясь плодами работы искусственного интеллекта, мы мало задумываемся над тем, каким образом бездушная машина учится «думать». А между тем, процесс ее обучения мало чем отличается от нашего. Чтобы научиться предсказывать события, распознавать объекты или имитировать человеческое поведение, нейросети должны методом «проб и ошибок» изучить сотни тысяч, миллионы и даже триллионы случаев. Перед разработчиком неизбежно встает вопрос: где получить такое количество примеров. И здесь как раз на помощь приходят искусственно сгенерированные, синтетические данные.
«Причины создания синтетических данных – экономические. Можно потратить терафлопсы на продолжение вычислительного эксперимента с расчетом поведения крыла проектируемого самолета, но это займет месяцы работы суперкомпьютера. Это, во-первых, стоит денег, а, во-вторых, – занимает время, а оно в инженерных разработках — дорого. Но главное, некоторые данные нельзя или запредельно дорого получить естественным образом. Например, если мы моделируем разрушение самолетного крыла при встрече со стаей птиц, то кто же нам даст разбить тысячу самолетов о настоящих птиц, которые летят в аэродинамической трубе?
А тысячу раз смоделировать, как эти птицы неупругим образом разбиваются о крыло – это, пожалуйста. Или, например, если мы испытываем прочность ленты конвейера, то мы не разрежем настоящий конвейер, чтобы он в конце концов порвался. Это просто невозможная ситуация и по соображениям экономики, и по соображениям безопасности. Или в случае редких болезней. Как мы можем научить нейросеть распознавать симптомы редких недугов, если ими заболевают всего по сто человек в год? Негде взять сотни тысяч, миллионы кейсов, которые необходимы для обучения нейросети. Можно, конечно, копить данные 10 лет, но это долго. А в случаях аварийного поведения систем – и просто невозможно», – рассказывает эксперт.
Синтетические данные относительно дешевы и легкодоступны. Например, нам нужно создать нейросеть для определения негабаритов на конвейере на горно-обогатительном комбинате, чтобы слишком крупные «камни» не повредили мельницу, которая размалывает руду. Для этого искусственный интеллект должен научиться распознавать правильные «камни», чтобы отличать их от негабарита: причем, на сотнях тысяч штук. Но можно ли сделать столько «камней»?
«Конечно, можно. Ведь «камень» состоит из разных граней слома. В специальной программе по 3D-моделированию я могу указать, что «камень» у меня будет размером от 10 сантиметров до одного метра, он будет насечен разными плоскостями, под разными углами, их сочетание будет огромной вариативности, я могу их разложить разными текстурами, и в результате я могу сделать не то что сотни тысяч или миллион – триллион вариантов. Таким образом мы с коллегами сделали достаточно много экземпляров «камней», чтобы этого хватило для тюнинга нейросети, которая анализировала руду. Генерация одной сцены на обычном компьютере с не самой топовой видеокартой занимала одну секунду. Несколько дней непрерывных вычислений, и нужного размер датасет готов. Можно сделать и быстрее, если распараллелить вычисления», – говорит Юрий Чайников.
Синтетические данные не тождественны реальным, хотя зачастую неотличимы от них, иначе нейросеть, обученная на оторванной от действительности информации, не сможет решать поставленные перед ней задачи.
«Например, если мы тренируем медицинскую нейросеть, имитирующую доктора, которому предстоит изучать анамнез пациента, то ее придется учить на диалогах, которые должны выглядеть как настоящие. Потому что если мы будем тренировать ее на рафинированных данных, то нейросеть будет хуже работать. Одно дело – профессиональная озвучка в студии, другое – когда мы пытаемся расшифровать обычный разговор. Здесь и перебивание, и междометья, и слова-паразиты, и обрывки фраз, слов, потому что естественный разговор всегда содержит часть контекста, который передается невербальным образом. И в этот момент нейросеть, которая натренирована на «чистых данных», например на диалогах в фильмах, пасует, поэтому-то синтетические данные должны быть похожи на настоящие до степени смешения», – объясняет Чайников.
Практически не отличаясь от реальных, синтетические данные все же уступают им в многообразии. Однако именно синтетические данные позволяют создать очень много вариаций для тех самых редких случаев, на которые и надо «натаскать» нейросеть. Именно это и позволяет ей более детально изучить кейс и выработать обобщающие внутренние признаки. Этой цели разработчикам помогает достичь «метод Монте-Карло».
«Метод Монте-Карло» – это очень наукообразное выражение для обозначения генератора случайных чисел, – говорит эксперт. – За исключением каких-то совершенно уникальных случаев, этот метод всегда используется для генерации синтетических данных. Ведь смысл синтетических данных, чтобы они варьировались в качестве результата генерации в неких обозначенных экспериментатором пределах. Чтобы понять, насколько важен фактор случайности, приведу такой пример. Человеку довольно тяжело исполнить приказ: «Напиши 10 разных вариантов заметки, от самого сухого до совершенно разнузданного». Это очень трудная для человеческой психики задача: у каждого журналиста есть свой стиль, который довольно тяжело модифицировать, в конце концов он может не знать, например, стилистики дворового жаргона.
А если мы, например, обучаем виртуального доктора, чтобы он был способен разговаривать с малообразованным человеком, то в синтетических диалогах нужно часть данных сгенерировать таким образом, чтобы собеседник отыгрывал роль человека, который владеет плохим словарным запасом и не может обсуждать свои симптомы в строгих медицинских терминах. И это тот самый «метод Монте-Карло». Я могу сказать нейросети: «Вот тебе 20 вариантов описания того, какой типаж ты отыгрываешь, на каждый из них сделай 10 вариантов поведения: по полу, возрасту, уровню образования». И генеративная нейросеть варьирует токены, которые в нашей психике складываются в понятие стилистики диалога, что в результате тренировки на этих данных безусловно увеличивает конечную точность натренированной на этих данных модели виртуального доктора».
Для лидеров индустрии, таких как OpenAI, работу по созданию синтетических данных проделывают компании. Так, по экспертным оценкам, компания Scal AI за 2023 год удвоила выручку от своей деятельности, а в 2024 году планирует выйти в «миллиардеры». Однако это скорее исключение, чем правило.
«Как правило, эта задача неотделима от задачи натренировать нейросеть. Нет никаких сомнений, что и «Яндекс», и «Сбер» как ведущие в этом направлении компании в России, использовали «синтетику», чтобы натренировать свои большие языковые генеративные модели», – заключает Юрий Чайников.
Материал подготовлен при поддержке Минобрнауки России.
Telegram 
Дзен 
VK Среди ныне живущих морских обитателей осталось всего несколько так называемых «живых» ископаемых вроде латимерии или мечехвоста. Остальных мы знаем по уцелевшим остаткам. Новый вид древней рыбы обнаружили палеонтологи в девонском песчанике Канадской Арктики. Судя по найденным зубам и челюстям, рыба была в разы меньше своих родственников, а значит, могла жить в реках, что необычно для этих существ.
В космосе иногда встречаются необычные галактики, в которых центральную часть окружает эффектное кольцо, полное звезд, газа и пыли. Ученые подозревают, что некоторые из кольцевых галактик становятся такими после столкновений. Чаще всего это происходит лишь с одним из двух участников подобной аварии. Недавно удалось найти необычный пример: одна галактика прошла сквозь другую так, что в результате образовались два почти одинаковых кольца. Их вид действительно напоминает совиные глаза.
Кости певчих дроздов, обнаруженные в выгребной яме древнеримского города Полленция на Майорке, указали на их широкое употребление в качестве повседневной уличной закуски. Открытие поставило под сомнение прежние представления о дроздах исключительно как о деликатесе, доступном лишь богатым римлянам.
Изучив поведение 69 видов птиц в разных областях Западных Гат (Индия), международная исследовательская группа наконец объяснила, почему территориальные и всеядные птицы чаще других поют по утрам.
Среди ныне живущих морских обитателей осталось всего несколько так называемых «живых» ископаемых вроде латимерии или мечехвоста. Остальных мы знаем по уцелевшим остаткам. Новый вид древней рыбы обнаружили палеонтологи в девонском песчанике Канадской Арктики. Судя по найденным зубам и челюстям, рыба была в разы меньше своих родственников, а значит, могла жить в реках, что необычно для этих существ.
Наблюдая ранние этапы рождения землеподобных миров, астрономы приблизились к решению «метрового барьера» — проблемы роста пылевых зерен до размеров, необходимых для формирования планет.
Вид антилоп, с ледникового периода привыкший к массовым миграциям, пытается вернуться в свой исторический ареал, когда-то достигавший Днепра. Однако их нетипичные для травоядных привычки вызывают сильнейшее отторжение у сельских жителей, предлагающих массово уничтожать их с воздуха. С экологической точки зрения возвращение этих животных весьма желательно, но как примирить их с фермерами — неясно.
Недавно вышел второй сезон сериала «Одни из нас» (TheLastofUs), созданного по сюжету популярнейшей видеоигры. Ученые Пермского Политеха решили разобраться, насколько реален сценарий грибной пандемии, превращающей людей зомби? Чем живет кордицепс и как он «ищет» своих жертв, действительно ли паразит способен эволюционировать настолько, чтобы поражать человеческий организм и подчинять себе его волю, был бы у людей шанс выжить, какие грибы уже поселились в наших телах и выручит ли нас иммунитет, сформированный тысячелетиями.
Казахстанский Алматы — город контрастов, где горы соседствуют с урбанистическими пейзажами, а бизнес-центры — с историческими кварталами. Неизменным остается одно — пробки. Ежедневно сюда приезжает более 700 тысяч автомобилей из пригородов, при этом в самом мегаполисе зарегистрировано порядка 600 тысяч транспортных средств. В результате по улицам ежедневно движется более миллиона транспортных средств.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно