Раннее выявление риска расстройств аутистического спектра у детей на основе zero-shot моделей визуально-текстового анализа неструктурированных видео

Рассматривается задача выявления рисков возникновения расстройств аутистического спектра у детей на основе анализа поведенческих паттернов в неструктурированных видеоданных. Данная задача носит сложный, слабоформализованный характер и традиционно требует значительных экспертных усилий, что затрудняет ее масштабирование и применение в раннем скрининге. В настоящее время универсальные технические подходы, обеспечивающие автоматизированный анализ таких данных в условиях ограниченной разметки, остаются недостаточно разработанными. Осуществлена проверка гипотезы о возможности достоверного выявления риска расстройств аутистического спектра у детей на основе анализа спонтанных домашних видеозаписей с использованием методов глубокого обучения, не требующих дополнительного обучения на специализированных размеченных выборках. Предложен метод zero-shot-распознавания поведенческих паттернов на видеозаписях на основе мультимодальных моделей визуальноязыкового сопоставления. Метод опирается на ансамбль текстовых промптов, специализированный дизайн текстовых описаний поведения и иерархическую агрегацию поведенческих признаков. Стратегия ансамбля текстовых промптов обеспечивает устойчивое сопоставление видеоданных и текстовых представлений за счет использования нескольких лингвистически вариативных формулировок для каждой категории поведения. Предложенная схема иерархической агрегации позволяет учитывать семантическую близость различных типов поведения и повышает устойчивость zero-shot классификации. Полученные результаты демонстрируют применимость предложенного подхода для анализа редких и слабо представленных форм поведения, характерных для ранних проявлений расстройств аутистического спектра. Также показано, что метод способен формировать интерпретируемый временной профиль поведенческих признаков, что позволяет не только выполнять классификацию, но и локализовать поведенческие паттерны во времени. Это расширяет возможности использования подхода в задачах более детального анализа структуры поведения. Научная новизна работы заключается в применении zero-shot-парадигмы к задаче анализа поведенческих паттернов в домашних видеозаписях, а также в разработке стратегии ансамблирования текстовых промптов и иерархической агрегации признаков. Предложенный подход позволяет снизить эпистемическую неопределенность при интерпретации поведенческих проявлений, уменьшить зависимость от субъективных факторов и создать основу для разработки доступных и масштабируемых решений в области раннего выявления рисков расстройств аутистического спектра.