Мобильное приложение для нейропсихологических игр с применением методов компьютерного зрения

DOI:

Нейропсихологическая оценка связана с проверкой работоспособности человека в различных нейропсихологических областях – например, внимание/концентрация, речь, зрительно-пространственные способности, координация движений, исполнительные функции и память – с целью выявления наличия дисфункций. Например, нейропсихологическая оценка обычно используется для выявления когнитивных нарушений у пожилых людей [1, 2]. Другой распространенной целевой группой для когнитивной оценки являются студенты: ключевым применением когнитивной оценки является скрининг дислексии и синдрома дефицита внимания с гиперактивностью [3].

В настоящее время нейропсихологические оценки проводятся в контролируемой среде, обычно в клинических условиях, и проводятся медицинскими работниками – неврологами, психологами и врачами. Основными используемыми диагностическими инструментами являются ряд проверенных нейропсихологических бумажных тестов или шкал [4, 5]. Эти тесты дают результаты в виде шкалы оценки нервно-психического состояния человека. Кроме того, обычным форматом процесса нейропсихологической оценки является личное интервью различной продолжительности, в зависимости от сложности и вариативности выбранного набора тестов. Эти тесты имеют ряд ограничений, которые необходимо учитывать, чтобы гарантировать, что результаты когнитивной оценки не будут предвзятыми.

Требуется индивидуальное внимание медицинских работников, и общее необходимое время невозможно предугадать, оно зависит от сложности набора тестов.

Нейропсихологические игры представляют собой инновационный подход к тренировке умственных навыков, ориентированный на взаимосвязь психики и активности мозга. Современный образ жизни, сопряженный с повышенной цифровизацией и стремительными изменениями в технологическом пространстве, выдвигает потребность в эффективных методах поддержания и развития когнитивных функций. В этом контексте нейропсихологические игры становятся не только развлекательным средством, но и инструментом, способствующим улучшению памяти, внимания, логического мышления и других когнитивных навыков.

Основной задачей нейропсихологических игр является создание среды, которая способствует активации различных участков мозга, обеспечению     интенсивной     нейронной активности.     Это     достигается     через разнообразные задачи, требующие от игрока анализа, решения проблем, координации и оперативной памяти. Важно отметить, что эти игры не только направлены на развитие умственных способностей, но и могут быть адаптированы к индивидуальным потребностям пользователя.

В последнее время стала популярной цифровая терапия с использованием мобильных приложений, игр, технологий виртуальной реальности и искусственного интеллекта [6], в том числе в области когнитивного обучения [7].

АНАЛИЗ СУЩЕСТВУЮЩИХ НЕЙРОПСИХОЛОГИЧЕСКИХ ПОДХОДОВ В ПРОГРАММНЫХ РЕШЕНИЯХ

Существует множество нейропсихологических подходов, используемых в программных решениях, таких как обучение, тренировка мозга, реабилитация        или        диагностика нейропсихологических состояний.

• 1.    Компьютерные     программы     для

• 2.    Программы      для      диагностики

• 3.    Виртуальная        реальность        в

• 4.  Машинное обучение и анализ больших

• 5.  Мобильные приложения для тренировки

когнитивной реабилитации и тренировки мозга:  многие программные решения используют       нейропсихологические подходы для создания заданий, направленных на улучшение когнитивных функций, таких как внимание, память, аналитическое мышление и решение проблем. Они могут включать в себя игры, головоломки,      упражнения      для восстановления речи, поддержку в случаях дислексии и дисграфии.

нейропсихологических        состояний:

некоторые    программные    решения используют       нейропсихологические подходы для создания тестов и ассоциированных  с  ними алгоритмов анализа данных  с  целью выявления патологий и оценки уровня когнитивных функций.

нейропсихологии:   с использованием технологий виртуальной реальности, разрабатываются программные решения, позволяющие создавать среды и сценарии, имитирующие различные повседневные и терапевтические ситуации для тренировки когнитивных функций и реабилитации.

данных в нейропсихологии: программные решения используют методы машинного обучения и анализа больших данных для обнаружения паттернов в когнитивных процессах, а также для персонализации программ тренировки и реабилитации.

мозга:     существуют     приложения, основанные на нейропсихологических принципах,    предназначенные    для повседневной тренировки мозга и улучшения когнитивных навыков.

Автоматизированное проведение тренингов по когнитивной реабилитации можно реализовать с помощью компьютерных программ [9]. Технологии виртуальной реальности могут дать возможность изучать и практиковать когнитивные навыки в реальных ситуациях. Чтобы компенсировать когнитивные нарушения, напоминания о повседневных делах можно будет отправлять через приложения для смартфонов. Технологии, основанные на Интернете, могут предоставить психообразовательные ресурсы и учебные материалы для улучшения когнитивных способностей.

Авторы статьи [10] применяли методы искусственного интеллекта для выявления нервно-психических расстройств в основном сосредоточенных на трех основных задачах, а именно: обнаружение на основе языкового и вербального ввода, извлечение и использование особенностей грамматики, словарного запаса и синтаксиса;    обнаружение    на    основе аудиовизуальных характеристик, то есть характеристик, извлеченных из речи, таких как тональность, темп или частота, или из выражений лица и тела пользователя; и изучение существующих диалоговых систем и оценка их производительности. Первый подход к обнаружению доступен только тогда, когда разговорные данные представлены в текстовом формате, тогда как во втором случае для записи разговора    пользователя    использовались аудиовизуальные устройства.

Традиционные     инструменты     иногда неспособны обнаружить чувствительные снижения когнитивных функций из-за естественных изменений во время тестирования. Тем не менее, смартфоны могут позволить повторно оценивать когнитивные функции и обеспечивать более достоверное описание ранних когнитивных расстройств.

Большинство методов, используемых в цифровых подходах, которые имеют такие преимущества, как повышенная доступность и стандартизация измерений, показали результаты, согласующиеся с классическими тестами и диагностикой пациентов. Однако подробный психометрический анализ и рекомендации по передовой практике цифровых подходов все еще отсутствуют.

МЕТОДИКА ВЫЯВЛЕНИЯ И РАЗВИТИЯ КОГНИТИВНЫХ НАВЫКОВ НА ОСНОВЕ КОМПЬЮТЕРНОГО ЗРЕНИЯ

Применение алгоритмов компьютерного зрения позволяет создавать интерактивные игровые сценарии,    в    которых    пользователи взаимодействуют с приложением с помощью естественных движений и жестов.

Распознавание жестов как технология компьютерного зрения позволяет отслеживать движения рук или тела пользователя в реальном времени, интерпретируя их как управляющие команды для игры. Используя камеры смартфона или планшета, мобильное приложение может точно определить позу игрока, его жесты, а затем использовать эти данные для управления игровым процессом, что позволит сделать интерактивные нейропсихологические игры не только полезными для развития мозга, но и забавными и привлекательными.

В данной статье предлагается методика выявления и развития когнитивных навыков на основе методов компьютерного зрения путем разработки мобильного приложения для нейропсихологических игр. На рисунке 1 представлен алгоритм выявления и развития когнитивных навыков на основе методов компьютерного зрения.

Рисунок 1. алгоритм выявления и развития когнитивных навыков на основе методов компьютерного зрения.

Figure 1. Algorithm for identifying and developing cognitive skills based on computer vision methods.

• 1.    Сбор данных. На первом этапе необходимо собрать набор данных, содержащий изображения, видеозаписи или другие визуальные     материалы,     которые

• 2.    Предварительная обработка данных. Провести предварительную обработку данных, включающую в себя уменьшение шума, усиление контраста и другие методы улучшения изображений.

• 3.    Извлечение признаков. Использовать методы компьютерного зрения для извлечения признаков из визуальных данных. Это может включать в себя выделение объектов, выявление движения, распознавание образов и другие методы анализа изображений.

• 4.    Классификация признаков. Применить методы машинного обучения, такие как классификация, кластеризация, или регрессия, для анализа извлеченных признаков и определения уровня когнитивных навыков пользователя.

• 5.    Оценка когнитивных навыков.

• 6.    Индивидуальный     план     развития.

• 7.    Мониторинг и обновление результатов. Регулярно     отслеживать     прогресс

• 8.    Процесс выявления и развития когнитивных навыков на основе методов компьютерного зрения представлен с помощью диаграммы IDEF0 на рисунке 2.

предоставляют     информацию     о когнитивных навыках, таких как внимание, память, решение проблем.

Использовать модель машинного обучения для оценки когнитивных навыков пользователя на основе его реакций на визуальные стимулы.

Сгенерировать индивидуальный план развития на основе результатов оценки когнитивных навыков. Этот план может включать в себя различные упражнения, игры или тренировочные материалы, предназначенные    для    улучшения выбранных когнитивных навыков.

пользователя с помощью компьютерного зрения и методов машинного обучения, а также обновлять индивидуальный план развития, учитывая достигнутый прогресс.

Декомпозиция процесса представлена на рисунке 3.

Компьютерное     зрение     обеспечивает взаимодействие пользователя с приложением через камеру мобильного устройства. Это позволяет распознавать жесты пользователя и анализировать его реакции в реальном времени. Например, игра может попросить пользователя сделать определенные жесты или манипуляции руками, которые затем интерпретируются системой как команды или ответы на поставленные задачи.

USED AT:

AUTHOR: Nikita

PROJECT: IDEF0

NOTES: 1 2 3 4 5 6 7 8 9 10

DATE: 24.11.2024

REV: 24.11.2024

WORKING

DRAFT

RECOMMENDED

PUBLICATION

READER              DATE

CONTEXT:

TOP

Данные о пользователе

Когнитивные характеристики

Жесты рук

NODE:

A-0

TITLE:

Набор нейропсихологических игр

Методические рекомендации к играм

Учебные модули

Повышенный когнитивный навык

Выявление и развитие когнитивных навыков

0 ?                                                                  0

Нейропсихологическая игра

Мобильное приложение

Камера телефона

Алгоритмы

компьютерного

зрения

Выявление и развитие когнитивных навыков

NUMBER:

_____________________________________[

Рисунок 2. контекстная диаграмма.Figure 2. Context diagram.

Рисунок 3. декомпозиция контекстной диаграммы.Figure 3. Context diagram decomposition.

ЗАКЛЮЧЕНИЕ

Развитие когнитивных навыков через нейропсихологические игры с использованием компьютерного зрения становится более эффективным     благодаря     возможности адаптировать игры под индивидуальные особенности реакции и двигательных навыков пользователя. Мобильное приложение с такими функциями      способно      предоставить персонализированный опыт, что значительно улучшит качество когнитивной тренировки.

Методика выявления и развития когнитивных навыков на основе методов компьютерного зрения представляет инновационный подход к анализу и улучшению когнитивных способностей участников. Использование современных технологий, таких как машинное обучение и компьютерное зрение, позволяет создать систему, способную точно оценивать уровень когнитивных навыков и разрабатывать индивидуализированные планы развития. Эта методика имеет потенциал быть полезной в широком спектре областей, включая образование, медицину, психологию и развлекательную     индустрию.     Обладая возможностью наблюдения и анализа поведения пользователей с помощью компьютерного зрения, разработчики и исследователи могут создавать персонализированные программы тренировок,     позволяющие     улучшить когнитивные навыки в реальном времени.