Искусственный интеллект для оценки мелкой моторики пришёл на смену визуальному контролю.
В сборнике конференции «Современные проблемы физической культуры, спорта и безопасности жизнедеятельности», посвященной 60-летию кафедры физического воспитания ЕГУ им. И.А. Бунина» вышла статья С.В. Фаренбруха и А.А. Померанцева «Развитие методов оценки мелкой моторики: от визуального контроля к искусственному интеллекту«.
В статье рассматривается эволюция методов оценки мелкой моторики рук, входящих в семейство «ФингерФит». Описывается поэтапное совершенствование методов от визуального контроля до применения технологий искусственного интеллекта. Особое внимание уделяется новейшей версии метода «Фингерфит», использующей компьютерное зрение и формулу Шеннона, что позволяет сделать оценку мелкой моторики объективной. Представлены принципы работы компьютерного приложения, измеряемые показатели и перспективы применения данной технологии.
Введение
Мелкая моторика играет важную роль в развитии когнитивных функций и профессиональных навыков человека. Изучив десятки различных методов оценки и развития мелкой моторики, и не найдя единого и универсального метода, в 2017 году мы приступили к собственным исследованиям. В этот же период появилась идея создания компьютерного приложения «ФингерФит» [3].
Исторические этапы развития метода
Первоначальный подход к оценке мелкой моторики был запатентован в 2020 году, авторы А.А. Померанцев, А.Н. Старкин. Метод основывался на определении времени сложной реакции, затрачиваемой на построение обратных жестов рук [1]. На этом этапе правильность построения жестов контролировалась оператором без использования компьютерных алгоритмов (рис. 1.).
В 2023 году метод получил существенное развитие благодаря внедрению алгоритма компьютерного зрения, что позволило автоматизировать процесс распознавания жестов. Акцент тестирования сместился с оценки скорости построения жестов на тестирование скорости и правильности выполнения синергий мелкой моторики [2]. На этом этапе был получен новый патент «Способ оценки мелкой моторики рук на основе анализа синергий с помощью компьютерного зрения», автор А.А. Померанцев (рис. 2).
В основе метода «ФингерФит» лежит определение жестов с помощью компьютерного зрения на базе технологии MediaPipe Hand [4]. Система определяет положение ключевых точек кисти и пальцев в трехмерном пространстве, что позволяет точно классифицировать жесты (рис. 3). Искусственный интеллект для оценки мелкой моторики позволяет сделать метод наиболее объективным.
В 2024 году метод был усовершенствован путем введения формулы Шеннона для расчета двигательной энтропии на основе подсчета двигательных ошибок. Это повысило объективность метода и обеспечило математическую точность оценки мелкой моторики.
В 2025 году появилась версия «ФингерФит» для мобильных устройств. Так как многократно доказано, что мелкая моторика связана с различными когнитивными способностями, версию программы «ФингерФит» – мобильное приложение «Смышлёныш» можно рассматривать как нейротренажер для занятий нейрогимнастикой.
Методика и процедура тестирования.
Искусственный интеллект для оценки мелкой моторики: методика и процедура тестирования
Тестирование проводится по определенному алгоритму. 1 На экране компьютера демонстрируется жест-команда. 2 Испытуемый должен сформировать жест-ответ, состоящий из противоположной комбинации согнутых и выпрямленных пальцев (комплементарный жест). 3 Нейронная сеть в реальном времени анализирует видеопоток с камеры и оценивает правильность выполнения жеста. 4 Тестируемому последовательно предъявляются 32 жеста из возможных комбинации согнутых и выпрямленных пальцев в случайном порядке.
Важным элементом методики является оценка синергий – то есть одновременного согласованного изменения положения нескольких пальцев. Если изменение жеста происходит неодновременно для всех задействованных пальцев, синергия не засчитывается, и тестируемому предлагается повторить операцию.
По результатам тестирования рассчитываются 25 показателей мелкой моторики и когнитивных способностей: время реакции на жесты различной сложности; точность выполнения движений; количество двигательных ошибок, синергетическая нагрузка при смене жестов; скорость обработки информации; двигательная энтропия, асимметричность, способ восприятия информации и так далее. Всего 25 показателей. По итогам тестирования компьютер компилирует комплекс пальчиковой гимнастики, персонально для пользователя.
Результаты использования метода ФингерФит
Метод «ФингерФит» позволяет получить детальную информацию о характеристиках мелкой моторики испытуемого. В частности, на основе собранных данных строятся графики времени выполнения синергий отдельно для левой и правой руки, что позволяет выявить асимметрию моторных функций.
Анализ скорости обработки информации с заданной дискрецией (например, с 10-секундным интервалом) дает возможность исследовать динамические характеристики моторной функции, включая время врабатывания и наступление утомления.
Для углубленного изучения мелкой моторики и когнитивных способностей результаты тестирования могут быть выгружены в файл электронной таблицы для дальнейшей статистической обработки.
Преимущества метода.
Во-первых, высокая объективность оценки благодаря автоматизированному компьютерному анализу.
Во-вторых, отсутствие необходимости в специально подготовленном операторе.
В третьих, математическая точность оценки с использованием теории информации.
Кроме того, существует возможность детального анализа различных аспектов мелкой моторики.
И, что не мало важно, удобный пользовательский интерфейс с наглядной визуализацией.
Заключение
Разработка и совершенствование метода «ФингерФит» – это значительный шаг вперед в области оценки и развития мелкой моторики. Интеграция технологий искусственного интеллекта и метода «Фингерфит» позволила создать объективный, точный, удобный в использовании метод.
Потенциальные области применения метода включают: мониторинг двигательного развития детей; оценку профессиональной пригодности специалистов, требующих высокой координации мелких движений; реабилитацию пациентов с нарушениями моторных функций; научные исследования взаимосвязи мелкой моторики и когнитивных функций.
Дальнейшее развитие методики может быть направлено на расширение спектра оцениваемых параметров, увеличение точности измерений и разработку индивидуализированных программ развития мелкой моторики на основе результатов тестирования.
Искусственный интеллект для оценки мелкой моторики позволяет объективизировать процесс и необходимость
Свободно распространяемые программные продукты, основанные на методе «FingerFit» можно найти на сайтах ladoshki.org и fingerfit-neiro.ru.
Статья подготовлена при поддержке грантовой программы «Стальное дерево» Благотворительного фонда «Милосердие» в рамках реализации проекта «Развитие когнитивных способностей у детей с ограниченными возможностями здоровья на основе инновационного метода нейрогимнастики «Смышленыш». Договор о предоставлении гранта № 125/17 от 10 июня 2025 г. Сайт проекта: www.fingerfit-neiro.ru.
Список литературы
Патент № 2717365 C1 Российская Федерация, МПК A61B 5/00, A61B 5/11, G09B 9/00. Способ оценки мелкой моторики рук : № 2018147383 : заявл. 27.12.2018 : опубл. 23.03.2020 / А. А. Померанцев, А. Н. Старкин ; заявитель Федеральное государственное бюджетное образовательное учреждение высшего образования «Липецкий государственный педагогический университет имени П.П. Семенова-Тян-Шанского» (ФГБОУ ВО «ЛГПУ имени П.П. Семенова-Тян-Шанского»). – EDN DPCJMH.
Патент № 2809430 C1 Российская Федерация, МПК A61B 5/103, G06N 3/02, G06T 3/00. Способ оценки мелкой моторики рук на основе анализа синергий с помощью компьютерного зрения : № 2023109884 : заявл. 18.04.2023 : опубл. 11.12.2023 / А. А. Померанцев. – EDN KPDEXC.
Померанцев, А.А. Оценка мелкой моторики рук на основе авторского метода и программного приложения FingerFit / А. А. Померанцев, Т. В. Бахтиарова. – Текст: непосредственный // Современные вопросы биомедицины. – 2022. – Т. 6, № 4(21). – DOI 10.51871/2588-0500_2022_06_04_18. – EDN VINIVW.
Pomerantsev, A.A. An Innovative Method of Assessing Fine Motor Skills for Students Mastering the Profession / A. A. Pomerantsev, T.V. Bachtiarova. – Текст: непосредственный // 3rd International Conference on Technology Enhanced Learning in Higher Education (TELE), Lipetsk, 14–16 июня 2023 года.