Аналитический обзор речевых и многомодальных методов распознавания когнитивных нарушений людей

В течение последнего десятилетия наблюдается рост количества публикаций научно-технической и медицинской направленности, посвящённых автоматическому определению на основании речевого и визуального материала таких когнитивных нарушений людей, которые возникают при таких нейродегенеративных заболеваниях, как деменция, болезнь Альцгеймера, болезнь Паркинсона и другие нарушения. Хотя данные заболевания имеют высокую степень распространения и являются одной из основных причин смертности и ранней инвалидизации людей, способов их эффективного лечения на данном этапе развития медицины отсутствуют или ограничены. В связи с этим ранняя диагностика симптомов и их облегчение вызывают значительный интерес исследователей. В фокусе современных исследований находится задача разработки автоматизированных и автоматических систем, основанных на количественных объективных методах, нейросетевых подходах, использующих различные модальности и их объединение, а также на методах интерпретируемого искусственного интеллекта. В статье представлен обзор и анализ основных исследований c 2022 года, посвящённых автоматическому одно- и многомодальному определению когнитивных нарушений людей. Представлены наиболее часто применяющиеся многомодальные корпусы, применяемые в данной задаче, такие как ADReSS, ADReSSo, TAUKADIAL и др. Описаны современные методы, используемые для выявления когнитивных нарушений на основе данных различных модальностей, представленные на международном соревновании TAUKADIAL-2024, и вне соревнований. По результатам соревнований, лучшими методами распознавания когнитивных нарушений являются ансамбли вероятностных моделей, обученные на интерпретируемых экспертных признаках и нейросетевых признаках текстов и аудио. Рассмотрены многомодальные подходы, использующие визуальную модальность для обучения глубоких нейросетевых моделей. Рассмотрено новое направление, изучающее применимость больших языковых моделей к анализу медицинских текстов и интерпретируемому предсказанию заболевания. Проведена систематизация методов извлечения информативных признаков и применяемых классификаторов. По результатам проведенного обзора сформулированы требования к системам автоматизированного определения когнитивных нарушений.