Подходы к оценке точности измерений, выполненных ИИ-сервисами, в лучевой диагностике
Журнал: Программные системы: теория и приложения @programmnye-sistemy
Рубрика: Медицинская информатика
Статья в выпуске: 3 (72) т.17, 2026 года.
Бесплатный доступ
Роль количественных измерений в лучевой диагностике возрастает, как и число внедряемых в область сервисов искусственного интеллекта (ИИ). Однако оценка точности их измерений остается недостаточно стандартизированной и опирается на статистические показатели, не всегда применимые для задач области. Целью исследования стали разработка и первичная апробация автоматизированного метода оценки качества количественных измерений, выполняемых ИИ-сервисами, на примере линейных измерений образований надпочечников на данных компьютерной томографии органов грудной клетки (КТ ОГК). Набор данных содержал 90 КТ ОГК с разметкой: бинарный признак наличия образования и его измерение. Апробация была выполнена на основе результатов работы двух ИИ-сервисов. Предложенный подход включал оценку каждого измерения в зависимости от близости к эталону (0, 0,5 или 1 балл). Общий балл рассчитывали как среднее; порогом достаточной точности было принято значение 0,81. Допустимые отклонения определялись эмпирически: 2 (± 0,2) и 4 (± 0,4) мм для границ корректного и частично корректного измерения. Общий балл ИИ-1 составил 0,914 (0,853–0,966), ИИ-2 — 0,913 (0,857–0,968) при ICC 0,94 и 0,93, коэффициенте Гвета AC2 0,97 и 0,96 соответственно; систематического смещения обнаружено не было. Разработанный подход обеспечил оценку отдельных измерений и общего качества работы ИИ-сервиса, и показал себя применимым для оценки ИИ-сервисов в задаче измерения образований надпочечников на КТ ОГК.
Короткий адрес: https://sciup.org/143186352
IDS: 143186352 | УДК: 004.89:616-079 | DOI: 10.25209/2079-3316-2026-17-3-105-126
Approaches to Assessing the Accuracy of Measurements Performed by AI-Services in Radiology
The importance of quantitative measurements in radiology is increasing, as is the number of artificial intelligence (AI) services being introduced into the field. However, assessment of their measurement accuracy remains insufficiently standardized and relies on statistical metrics that are not always applicable to domain-specific tasks. This study aimed to develop and conduct a preliminary evaluation of an automated method for assessing the quality of quantitative measurements performed by AI-services in radiology, using linear measurements of adrenal lesions on chest CT as an example. The dataset comprised 90 chest CT examinations with annotations including a binary indicator of lesion presence and its measurement. The approach was evaluated using the outputs of two AI-services. Each measurement was scored according to its proximity to the reference standard (0, 0.5, or 1 point). The overall score was calculated as the mean score, with 0.81 adopted as the threshold for sufficient accuracy. Acceptable deviations were determined empirically: 2 (± 0.2) and 4 (± 0.4) mm defined the boundaries for correct and partially correct measurements, respectively. The overall score was 0.914 (0.853–0.966) for AI-1 and 0.913 (0.857–0.968) for AI-2, while the intraclass correlation coefficient was 0.94 and 0.93, Gwet’s AC2 was 0.97 and 0.96, respectively. No systematic bias was identified. The proposed approach enabled assessment of individual measurements as well as the overall performance quality of an AI-service and proved applicable for the task of measuring adrenal lesions on chest CT.
