В России разработали систему для оценки лечения зубов с использованием робота-тренажера

❋ 4.5

В прошлом году ученые Пермского Политеха разработали антропоморфный робот-симулятор — тренажер для студентов-стоматологов с технологиями ИИ. Нейросети позволяют вести диалог с роботом и распознают объекты на изображении, чтобы оценивать результаты лечения зубов студентами. При этом система должна надежно локализовать и детально оценить свойства зуба во рту тренажера и то, как они меняются в ходе операции. Для этого ученые ПНИПУ разработали двухступенную схему распознавания и усовершенствовали методы обработки, что до 92 процентов повысило точность в нестабильных условиях съемки. Теперь нейросеть оценивает не только количественные показатели (размеры, глубину отверстия для пломбы, толщину снятого слоя эмали), но и качественные, например, правильно ли выполнена фрезеровка, нет ли скосов, равномерны ли дно и стенки зуба.

ПНИПУ

# зубы

# лечение зубов

# стоматологи

Стоматологический робот-тренажер / © Павел Струнов, пресс-служба ПНИПУ

Статья опубликована в журнале «Вестник ПНИПУ. Электротехника, информационные технологии, системы управления». Исследование проводилось при финансовой поддержке Пермского НОЦ «Рациональное недропользование».

Проект «антропоморфного стоматологического симулятора» – это тренажер для студентов-стоматологов, на котором учащиеся могут безопасно отрабатывать свои навыки в проведении основных процедур – лечение кариеса, обработка зуба под коронку, удаление и лечение канала. Встроенная нейросеть с помощью видеокамер позволяет оценить результаты работы, обрабатывая полученные изображения.

Современные нейросети способны определять множество объектов разных классов без применения каких-либо дополнительных схем. Обычно для поиска и классификации объектов на фотографиях используют простую одноступенную нейросеть. Она, например, может с высокой точностью находить зубы в челюсти тренажера, несмотря на постоянное изменение освещенности и самой формы объекта в ходе лечения. Но если необходимо проанализировать не сам объект, а только его часть, допустим, небольшую пломбу, задача усложняется, повышается количество ложных срабатываний. Нейросеть может ошибочно принимать блики и неровности внутри полости рта за искомые отверстия в зубе или совсем пропускать их.

Ученые Пермского Политеха разработали двухступенную схему распознавания, которая анализирует фото в поисках составных объектов (отдельных зубов), вырезает, нормализует их по размерам и анализирует каждый фрагмент по отдельности для определения искомых мелких объектов (пломб, отверстий).

Распознавание системой. Вид с боковой камеры / © Андрей Кокоулин, журнал «Вестник ПНИПУ. Электротехника, информационные технологии, системы управления»

«На первой ступени производится поиск области интереса, то есть первая нейросеть определяет только объекты «зуб» и «зуб с дыркой». Они вырезаются и передаются на вторую ступень, где распознаются уже отверстия в зубах и их свойства», — объясняет Андрей Кокоулин, доцент кафедры автоматики и телемеханики ПНИПУ, кандидат технических наук.

Предварительная обработка фото особенно актуальна для определения свойств малых объектов, так как их изменения сложнее обнаружить. Она позволяет устранить шум, повысить контрастность и яркость, а также улучшить четкость, что делает изображение более информативным. Из-за того, что зубы имеют цвет близкий к белому, на них плохо видны контуры вырезанных отверстий. Также мешает отсвечивание подсветки, необходимой для работы камер. Политехники дополнительно встроили в систему программу для улучшения контраста, которая сохраняет локальные детали и структуры изображения, что важно для точного определения границ мелких объектов на изображении.

Форма зуба представляет собой кривую, и в ходе процедуры важно вычислять размеры его границ, глубину отверстий и количество снятой эмали. Для этого ученые разработали метод измерения объекта сложной формы, позволяющий проводить расчеты в трех измерениях.

«Применение нашей двухступенной системы до 92 процентов увеличило точность и до пяти процентов уменьшило количество ложноположительных срабатываний. Для каждого варианта лечения нейросеть может определить свои количественные параметры. Для «кариеса» и «канала» — размеры полости под пломбу, для «коронки» — толщину и равномерность снятого слоя с боков и сверху зуба. А также качественные показатели — правильно ли выполнено лечение, не сломался ли зуб при удалении и насколько ровные стенки», — поделился Андрей Кокоулин.

Политехники отмечают, что в перспективе возможно создание мобильного приложения, с помощью которого можно сфотографировать вылеченный зуб (еще без пломбы или коронки) и оценить качество лечения. Также предложенный метод анализа можно использовать везде, где нужна съемка различных составных конструкций и механизмов со множеством деталей.

Разработанная учеными ПНИПУ система на основе нейросети существенно улучшает обучение студентов на стоматологическом тренажере, а также вносит большой вклад в развитие современной технологичной медицины в России.

Нашли опечатку? Выделите фрагмент и нажмите Ctrl + Enter.

Пермский национальный исследовательский политехнический университет (национальный исследовательский, прошлые названия: Пермский политехнический институт, Пермский государственный технический университет) — технический ВУЗ Российской Федерации. Основан в 1960 году как Пермский политехнический институт (ППИ), в результате объединения Пермского горного института (организованного в 1953 году) с Вечерним машиностроительным институтом. В 1992 году ППИ в числе первых политехнических вузов России получил статус технического университета.