Нейросеть научили читать и расшифровывать древнерусские грамоты
В НовГУ разработали систему искусственного интеллекта для автоматического распознавания и интерпретации текстов древнерусских грамот. Разработка вошла в число проектов-победителей грантового конкурса «Студенческий стартап» Фонда содействия инновациям. На её реализацию выделен один миллион рублей.
Автор разработки — магистрант Политехнического института, ассистент кафедры информационных технологий и систем Иван Филиппов. Руководитель проекта — доцент кафедры физики твёрдого тела и микроэлектроники Ирина Телина.
— Задача распознавания букв достаточно тривиальна в области компьютерного зрения, однако специфика древнерусских символов вносит дополнительную сложность, — отметил Иван Филиппов. — Эксперты подтверждают необходимость поиска новых инструментов для работы с древнерусскими документами. Только в Великом Новгороде уже найдено более 1200 берестяных грамот, и их количество продолжает расти с каждым годом. При этом процесс их расшифровки очень трудоёмкий и требует много времени. Многие символы могут иметь разные варианты прочтений, а разнообразие устаревших букв и наличие редких диакритических знаков усложняют классификацию по стандартным моделям.
Автоматических решений для таких задач на данный момент нет. Существующие аналоги либо недостаточно точны, либо нестабильны, либо требуют больших, размеченных вручную датасетов. Разработка Ивана Филиппова призвана стать новым быстрым инструментом для библиографиов, палеографов, архивистов.
Для обучения нейросети использовали датасет из пяти «эталонных» грамот, на которых буквы были размечены вручную. При отборе грамот было важно, чтобы они были целыми, крупными по объёму и содержали наибольшее разнообразие разборчиво написанных букв. Также в датасет вошли автоматические вырезки букв, сделанные детектором.
— С запуска детектора начинается процесс работы ИИ, — пояснил Иван Филиппов. — Детектор отвечает за обнаружение и объединение боксов вокруг букв. Боксы — это прямоугольники, заключающие в себе буквы. Так как модель не может принять полную грамоту и дать детальную расшифровку — необходимо давать ей буквы по отдельности, уже после собирая их в строки. Затем происходит сегментация, поиск контуров, объединение соседних боксов по дистанции и соотношение площадей. Далее для распознавания букв используется свёрточная сеть ResNet-18, адаптированная под вырезки 64х64 пикселя. Все полученные вырезки букв сохраняются в виде PNG-файлов, сгруппированных по классам. Экспорт данных реализован на языке программирования Python с использованием стандартных библиотек, что гарантирует лёгкую интеграцию и последующую аналитику.
На данный момент уже создано приложение, позволяющее быстро загружать фото, автоматически детектировать боксы, распознавать буквы и экспортировать результаты. Для удобства пользователя в нём используется интуитивный интерфейс Canvas позволяет быстро и наглядно загружать любые изображения грамот, использовать функции зума и панорамы для точного выбора областей, автоматически или вручную выделять рамки вокруг букв, мгновенно редактировать, перемещать, удалять и отменять действия. Все действия выполняются мышью и горячими клавишами, а готовые инструменты Python обеспечивают простоту интеграции и отзывчивость даже на больших изображениях.
Система способна обучаться самостоятельно, в будущем этот процесс планируется полностью автоматизировать. Сейчас, по мере использования программы, датасет для обучения обогащается новыми качественными расшифровками.
— Система показала высокую производительность: полный прогон одного изображения занимает 1-2 секунды, — рассказал Иван Филиппов. — Также она демонстрирует надёжность и устойчивость благодаря компактной архитектуре, плавной работе пользовательского интерфейса. Точность распознавания высокая — после всех доработок и корректировок она составляет 98%. Система уже сейчас готова к интеграции в архивные и научные проекты по изучению древнерусских грамот. То, что уже сделано, позволяет раскрыть такие функции, как датирование и установка авторства грамоты. Также модель, обученная на грамотах, хорошо работает и с рукописями, что и является основной проблемой, к решению которой в итоге мы придём. Ведь у нас хранится множество рукописей, о которых, помимо самого текста, мало чего известно. В любом случае, мы открыты к взаимодействию и готовы работать со всеми, кто может быть заинтересован в реализации проекта — например, с Центром археологических исследований НовГУ.
Telegram 
Дзен 
VK После сокращения длины очередей и роста доступности бензина в первую неделю августа ситуация снова ухудшилась. Если с 20 июня по начало августа кризис носил в основном психологический характер, то сейчас ситуация принципиально иная: августовские атаки на НПЗ показали, что меры по усилению их противовоздушной обороны не были достаточно полными. Значит, прогноз автора Naked Science от 19 июля о том, что острая фаза кризиса закончится до конца лета, был частично неверным.
Воспоминания не исчезают бесследно: иногда пережитый опыт перестает влиять на поведение, хотя его след продолжает сохраняться в мозге. Ученые решили проверить, можно ли вернуть такую «забытую» память и что произойдет, если напомнить о произошедшем не совсем точно.
Множество переломов костей у средневекового скелета, захороненного в замке Стерлинг, позволили предположить, что мужчина погиб в результате прямого попадания снаряда, выпущенного из осадного орудия. Не исключено, что это был гигантский требушет «Боевой Волк», построенный по приказу короля Англии Эдуарда I.
В черепах участников битв эпохи Средневековья часто находят отверстия квадратной формы, о происхождении которых спорят специалисты. Авторы нового исследования пришли к выводу, что такое повреждение — следствие смертельного удара по голове палицей.
Анализ почти 69 тысяч видов насекомых помог опровергнуть главенствующую теорию эволюции, которая полвека объясняла устройство колоний пчел, муравьев и ос. Исследователи выяснили, что общепринятый генетический фактор сам по себе не приводит к разделению труда, а настоящий секрет их коллективного выживания кроется в совсем других биологических чертах.
После сокращения длины очередей и роста доступности бензина в первую неделю августа ситуация снова ухудшилась. Если с 20 июня по начало августа кризис носил в основном психологический характер, то сейчас ситуация принципиально иная: августовские атаки на НПЗ показали, что меры по усилению их противовоздушной обороны не были достаточно полными. Значит, прогноз автора Naked Science от 19 июля о том, что острая фаза кризиса закончится до конца лета, был частично неверным.
Долгое время считалось, что до прихода европейцев тропические леса Амазонии были заселены сравнительно плохо. Однако выяснилось, что плотная растительность скрывает большинство следов древних обществ. С помощью воздушного лазерного сканирования ученые обнаружили сотни неизвестных земляных сооружений и предположили, что около двух тысяч лет назад население юго-западной части Амазонии могло достигать трех миллионов человек.
Американская компания Firebird официально запустила в городе Раздан крупный центр обработки данных и фабрику искусственного интеллекта. На сегодняшний день это самый масштабный технологический хаб подобного уровня в СНГ, а после завершения всех этапов строительства он войдет в пятерку самых мощных вычислительных кластеров в мире.
Остров Пекан недалеко от Мексиканского залива в Луизиане вскоре перейдет в собственность компании Илона Маска. Здесь будет новый космодром для Starship, почти в 20 раз больше, чем в Бока-Чике, где уже стоят две стартовых площадки. Уникальное местоположение позволит компании попытаться реализовать амбициозную цель о запуске миллиона низкоорбитальных спутников на орбиты, где сегодня находится подавляющее меньшинство спутников Земли.
Вы попытались написать запрещенную фразу или вас забанили за частые нарушения.
Понятно
Что-то в вашем комментарии показалось подозрительным, поэтому перед публикацией он пройдет модерацию.
Понятно
Из-за нарушений правил сайта на ваш аккаунт были наложены ограничения. Если это ошибка, напишите нам.
Понятно
Наши фильтры обнаружили в ваших действиях признаки накрутки. Отдохните немного и вернитесь к нам позже.
Понятно
Мы скоро изучим заявку и свяжемся с Вами по указанной почте в случае положительного исхода. Спасибо за интерес к проекту.
Понятно