Применение технологий глубокого обучения для детекции пиков яркости на биспиральных изображениях флуоресцирующих точечных излучателей
Журнал: Компьютерная оптика @computer-optics
Рубрика: Численные методы и анализ данных
Статья в выпуске: 5 т.50, 2026 года.
Бесплатный доступ
В статье рассмотрены подходы к формированию обучающей выборки, особенности представления исходных данных и архитектур нейронных сетей при решении задач локализации дифракционных пиков на биспиральных изображениях флуоресцирующих точечных излучателей (молекул, квантовых точек и других) в трехмерной локализационной микроскопии сверхвысокого пространственного разрешения с использованием оптики вращающихся световых полей. Показано преимущество вычисления субпиксельных координат пиков яркости по тепловым картам с помощью операции soft-argmax и использование предобученных энкодеров при ограниченном объёме данных. В частности, средняя абсолютная ошибка (MAE) локализации для модели с предобученным энкодером ConvNeXt-Tiny и операцией soft-argmax составила 0,6 пикселя, что примерно в 5 раз меньше, чем при прямой регрессии координат с тем же энкодером (3,08 пикселя), и в 10 раз меньше, чем у сверточной нейронной сети со случайно инициализированными весами (6,03 пикселя). Для энкодеров EfficientNet-B0 и ResNet-18 с операцией soft-argmax MAE составила 0,92 и 2,66 пикселя соответственно.
Короткий адрес: https://sciup.org/140316978
IDS: 140316978 | DOI: 10.18287/COJ1919
Application of Deep Learning Technologies for Brightness Peak Detection in Bispiral Images of Fluorescent Point Emitters
The article examines approaches to forming training datasets, features of input data representation, and neural network architectures for solving the problem of localizing diffraction peaks in bi-spiral images of fluorescent point emitters (molecules, quantum dots, and others) in three-dimensional localization microscopy with ultra-high spatial resolution using rotating point spread function optics. The advantage of calculating sub-pixel peak coordinates from heatmaps using the soft-argmax operation and the use of pre-trained encoders with limited data volume is demonstrated. In particular, the mean absolute error (MAE) of localization for the model with a pre-trained ConvNeXt-Tiny encoder and soft-argmax was 0.60 pixels, approximately 5 times lower than with direct coordinate regression using the same encoder (3.08 pixels) and 10 times lower than that of a convolutional neural network with randomly initialized weights (6.03 pixels). For the EfficientNet-B0 and ResNet-18 encoders with soft-argmax, the MAE was 0.92 and 2.66 pixels, respectively.
Текст научной статьи Применение технологий глубокого обучения для детекции пиков яркости на биспиральных изображениях флуоресцирующих точечных излучателей
Применение методов обработки данных с использованием глубокого обучения в различных областях знаний позволяет значительно расширить возможности исследователей. В области трехмерной локализационной микроскопии сверхвысокого пространственного разрешения (трехмерной наноскопии) актуальной является задача обработки биспиральных изображений [1, 2] флуоресцирующих точечных излучателей. К таким излучателям относятся одиночные молекулы, квантовые точки, центры окраски в кристаллах, размеры которых существенно меньше длины волны флуоресценции. В данном подходе используется преобразование пучков света во вращающиеся световые поля с помощью специально рассчитанных фазовых масок. Угол поворота в биспиральном изображении, состоящем из двух дифракционно ограниченных пятен (лепестков), характеризует значение продольной координаты одиночного излучателя, а положение центра тяжести изображения позволяет определить продольные координаты излучателя с субдифракционной точностью. На основе обработки таких изображений можно получать трехмерные реконструкции микроскопических объектов с нанометровым разрешением.
В результате проведения эксперимента формируется серия изображений, в каждом из которых наблюдается некоторое количество двулепестковых изображений от одиночных точечных излучателей, флуоресцирующих случайным образом. Сложность обработки подобных изображений заключается в том, что они обладают существенным разбросом возможных углов поворота в двулепестковых изображениях. Форма лепестков также может существенно меняться при изменении продольной координаты, изображения от различных точечных излучателей могут пересекаться, а часть биспиральных изображений может выходить за пределы кадра (рис. 1). Таким образом, для решения задачи анализа биспиральных изображений одновременно должны решаться задачи обнаружения, разрешения и оценки параметров двулепестковых изображений. Методы, базирующиеся на формировании и обработке биспиральных изображений одиночных точечных излучателей, представлены в работах [1 – 4], однако им присущи такие ограничения, как низкая точность локализации при высоком уровне шума, ограниченная способность обрабатывать перекрывающиеся отклики и высокая вычислительная сложность.
В подобных случаях именно применение нейросетевых методов обработки может дать положительный результат. Основными моделями глубокого обучения для обработки и анализа изображений в настоящее время являются сверточные нейронные сети (CNN) [5, 6]. За счет обучения на больших объемах данных и сложности архитектуры они демонстрируют повышенную устойчивость к артефактам и способность к разделению перекрывающихся объектов на изображении [7, 8].
Задачей данной работы является сравнительный анализ методов глубокого обучения на основе сверточных нейронных сетей для субпиксельной локализации центров пиков яркости в биспиральных наноскопических изображениях флуоресцирующих нанокристаллов. При этом будут рассмотрены подходы на основе прямой регрессии координат [9], вычислении взвешенных сумм значений тепловых карт с помощью функции soft-argmax [10] и комбинированных методов с использованием нескольких независимых голов нейронной сети [11]. В качестве энкодеров применяются сверточные нейронные сети со случайно инициализированными весами, а также предобученные модели ResNet [12], EfficientNet [13] и ConvNeXt [14] из библиотеки torchvision.
Рис. 1. Примеры биспиральных изображений
Формирование обучающей выборки
Формирование достаточного объема обучающей выборки на реальных экспериментальных данных при разработке нейронной сети для обработки наноскопических изображений представляет собой сложную задачу ввиду случайного характера «включения» точечных излучателей, большого объема получаемых видеоданных, требующих разметки, значительного количества различных возможных комбинаций взаимного расположения отметок, которые впоследствии могут возникнуть при обработке реальных данных и к восприятию которых должна быть готова нейронная сеть. Все указанные факторы могут быть учтены при формировании обучающей выборки путем моделирования реальных изображений.
Модель биспирального изображения точечных отметок в n -м кадре может быть задана с помощью суммы двух гауссовских пиков [15 – 18]:
d(лX,X,D,ф(z)) = f(д,X,X + P,D,фф - =) + f (д,X,X -P,D,ф(z)ф(z) - 2),
где f (Д X, X, D, ФК») = ^= exp (- 2 • (r-(x - X))T -D"1 •
В свою очередь, Д - амплитуда отклика отметки в очередном кадре, D=l о $2 I - матрица, задающая ширину отметки по осям х и у, X - вектор координат точки, в которой вычисляется значение функции, X - вектор координат отметки, для которой формируется модель биспирального изображения, ф(z) - угол поворота биспирального изображения, однозначно связанный с координатой z точечного излучателя, R = cos(^(z)) sin(^(z))
-sin(^(z)) cos(^(z))
- матрица вращения, P = R • [R] - вектор сдвига отметок в биспиральном изображении относительно координат исходного точечного излучателя, R - радиус биспирального изображения (рис. 2).
Рис. 2. Параметры биспирального изображения
В связи с тем, что при формировании биспирального изображения возможно дополнительное «размывание» изображения отметки вдоль линии окружности с радиусом R, в матрице D может быть задана соотвествующая функциональная зависимость а^ = F(^(z)}. На рис. 3 представлены примеры отдельных отметок биспирального изображения.
Для моделирования тестовых изображений был сформирован набор трехмерных объектов в виде облаков точек с заданными в трехмерном пространстве координатами х, у, z. На рис. 4 представлен пример изображения такого объекта.
Рис. 3. Примеры моделирования отдельных отметок биспирального изображения
Рис. 4. Пример трехмерного изображения, заданного облаком точек
При формировании каждого кадра случайным образом с учетом заданной вероятности появления каждой отметки осуществляется выборка точек из исходного облака, и с учетом их параметров формируется биспиральное изображение (рис. 5).
а)
Рис. 5. Отображение выборки точек в трехмерном пространстве (а) и сформированное модельное биспиральное изображение (б)
При необходимости может осуществляться зашумление изображений тестовой выборки с учетом статистических характеристик шумов в реальных изображениях.
Исследуемые архитектуры нейронных сетей
Сверточная нейронная сеть преобразует двумерное изображение в трехмерный тензор карт признаков. При этом каждая 2D-карта, полученная путем применения фильтра свертки, отражает наличие и выраженность визуальных паттернов, что эффективно для задач классификации, обнаружения объектов, семантической сегментации и сегментации экземпляров [6].
Одним из наиболее очевидных подходов к получению координат центров откликов на наноскопическом изображении является добавление нескольких полносвязных слоев к выходу сверточной нейронной сети, чтобы полученная модель решала задачу регрессии для оценки координат. При этом последний полносвязный слой должен содержать 2 •N нейронов, где N - максимальное число откликов на изображении, а в выходном тензоре будут чередоваться горизонтальные и вертикальные координаты центров откликов. Если текущее количество откликов на изображении М меньше максимального значения N, то оставшимся элементам выходного тензора присваиваются значения, равные - 1. Кроме того, для лишних N — М точек можно не вычислять функцию потерь за счет использования маски, которая обнуляет ошибку для неиспользуемых позиций [9, 19, 20].
Помимо прямой регрессии координат, для оценки координат центров откликов на изображении может использоваться операция soft-argmax. В этом случае на выходе энкодера в виде сверточной нейронной сети необходимо получить N карт признаков (N по-прежнему равно максимальному числу откликов на изображении) и к каждой карте признаков применить эту операцию. В результате для каждой карты признаков будет получена оценка координат центра одного отклика. Работа операции soft-argmax заключается в последовательном применении операции softmax к к-й карте признаков и вычислении взвешенных оценок координат (ук, хк) центра отклика на текущей карте:
Ук = Х^ХУ^1 ;• softk(i, j), хк = Е^Е^- softk(i, j), где softk - результат применения операции softmax к к-й карте признаков, Н и W - высота и ширина карты признаков изображения соответственно. Далее полученные координаты масштабируются к размеру исходного изображения путем умножения на коэффициент s, показывающий, во сколько раз карта признаков меньше размера исходного изображения [21, 22].
Другой подход к определению координат центров пиков яркости основан на использовании многоцелевой нейронной сети, включающей CNN-энкодер, слой soft-argmax и специализированные головы для вычисления субпиксельного смещения координат и оценки вероятности наличия пиков яркости на изображении [21 – 24].
Поскольку во всех рассмотренных подходах к оценке координат центров пиков яркости на наноскопических изображениях используются карты признаков, полученные с помощью сверточных нейронных сетей, то для получения этих карт признаков также могут использоваться различные предобученные модели, такие как ResNet, EfficientNet и ConvNeXt [12 – 14]. При этом вычисление центров пиков яркости по полученным картам признаков также может выполняться с помощью прямой регрессии координат, операции soft-argmax или с помощью многоголовой нейронной сети. Также отметим, что для повышения точности предсказанных координат центров пиков яркости с использованием всех рассмотренных подходов возможно применение постобработки, например, гауссовой интерполяции [25].
На начальном этапе исследований для оценки способности сверточных нейронных сетей извлекать признаки из данных были обучены модели со случайно инициализированными весами, без использования предобученных архитектур. Модели включали блоки прямой регрессии координат (рис. 6 а ), операцию soft-argmax (рис. 6 б ) и отдельную голову для вычисления субпиксельного смещения координат пиков яркости (рис. 6 в ). Энкодеры всех моделей состояли из четырех сверточных слоев с функциями активации ReLU [6] и двух слоев субдискретизации (pooling). Эта конфигурация была признана оптимальной на основе эмпирической оценки альтернативных архитектур с различным количеством уровней. Также установлено предпочтительное использование адаптивного усредняющего пуллинга (AdaptiveAvrPool) [6] вместо слоя выравнивания (Flatten) [6] на выходе сверточной нейронной сети. Это позволило не только уменьшить количество параметров полносвязных слоев, которые отвечают за непосредственное определение координат центров откликов, но и повысить точность определения координат пиков яркости на изображении. Модель с адаптивным усредняющим пуллингом в одинаковых условиях справлялась с задачей лучше, чем модель со слоем выравнивания.
Каждая нейронная сеть выдает координаты центров откликов в формате с=[[У о > х0], [у1, х1],..., [y N- 1> Xn^W и вектор вероятностей присутствия соответствующих откликов на изображении р= [р0, р1,..., р ^ -1]. Наличие дополнительной головы, вычисляющей вектор вероятностей р , обоснованно неопределенным количеством откликов. Порог вероятности, равный 0,5, выбран как стандартное значение для бинарной классификации, поскольку он представляет собой точку равновесия между положительным и отрицательным классами, позволяя эффективно разделять значимые отклики от шума. Низкие значения р ^ < 0,5 указывают, что соответствующие координаты можно игнорировать.
Для обучения нейронной сети применялась комбинированная функция потерь, представляющая собой сумму потерь для каждой из голов модели. Голова, ответственная за определение координат центров откликов на изображении, оптимизировалась с использованием среднеквадратичной ошибки (MSE) [6]. Для головы, вычисляющей вектор вероятностей р, использовалась бинарная кросс-энтропия (BCE) [6]. В модели, представленной на рис. 6 в , добавлена дополнительная голова для оценки вектора смещения координат центров откликов, для которой также применялась среднеквадратичная ошибка (MSE) в качестве функции потерь.
Также в работе были исследованы модели, где в качестве энкодеров выступали предобученные на базе данных ImageNet [27] нейронные сети ResNet18, EfficientNet-B0 и ConvNeXt-Tiny (рис. 7). При этом головы, отвечающие за вычисление координат, вектора оценки вероятностей наличия всплеска и вектора субпиксельного смещения остались без изменения, как для моделей со случайно инициализированными весами.
Для энкодера на базе ResNet18 (рис. 7 а ) в исходной модели был изменен первый слой, так чтобы он принимал изображение с одним, а не тремя каналами яркости. При этом размер ядра и шаг свертки остались без изменения. Кроме того, из модели были удалены последние два слоя: адаптивный глобальный усредняющий пулинг и полносвязный слой для классификации 1000 классов.
а)
Входное изображение
всплесков яркости координат
...
[[ y 0 , x 0 ],.
[ p 0 , p 1 ,.
., p 13 ]
., [ y 13 , x 13 ]]
Входное изображение
всплесков яркости координат
...
[ p 0 , p 1 ,
...
, p 13 ]
, [ y 13 , x 13 ]]
[[ y 0 , x 0 ], б)
...
всплесков яркости
Рис. 6. Исследуемые архитектуры нейронных сетей со случайными весами: (а) с прямой регрессией координат, (б) с операцией soft-argmax для вычисления координат пиков яркости по тепловым картам, (в) с операцией soft-argmax и головой для вычисления вектора оценки смещения координат
...
[[ y 0 , x 0 ],.
., [ y 13 , x 13 ]]
в)
В энкодере на базе нейронной сети EfficientNet-B0 (рис. 7 б ) у исходной модели также был изменен первый сверточный слой, чтобы нейронная сеть работала с одноканальными изображениями. При этом начальные веса этого слоя были получены как усредненные по каналам значения стандартных весов оригинального слоя. Далее карта признаков с выхода модифицированной EfficientNet-B0 подвергалась серии обратных сверток (ConvTranspose) для постепенного увеличения размера и уменьшения количества каналов, чтобы в итоге к полученной карте признаков можно было применить операцию soft-argmax для нахождения координат точек. Аналогичные изменения стандартной модели и добавления новой цепочки слоев были сделаны для энкодера на базе нейронной сети ConvNeXt-Tiny (рис. 7 в ).
Эксперименты и обучение моделей
В соответствии с описанной методикой формирования обучающей выборки для обучения различных архитектур сверточных нейронных сетей было сформировано 35000 биспиральных наноскопических изображений флуоресцирующих нанокристаллов. В данные добавлялся аддитивный белый гауссов шум в отношении сигнал/шум 0,1. Размер всех изображений был равен 100 х 100 пикселей, а для представления яркости каждого пикселя использовалось 2 байта в формате целого числа без знака (uint16). Максимальное количество откликов на всех изображениях не превышало 14 (N < 14). Предобработка данных включала минимаксную нормализацию пикселей до интервала [-1,1]. Для этого по всей обучающей выборке предварительно были вычислены глобальные минимальное и максимальное значения яркости.
Входное изображение
Карта признаков Карта признаков Карта признаков а) б) в)
Рис. 7. Структурные схемы энкодеров на базе предобученных моделей нейронных сетей: (а) на базе ResNet18,
(б) на базе EfficientNet-B0, (в) на базе ConvNeXt-Tiny
Процесс обучения моделей осуществлялся в течение 150 эпох с использованием оптимизатора Adam и прерывался при наступлении переобучения. Для контроля переобучения исходный датасет был случайным образом разделен в соотношении 70/15/15 на обучающую, проверочную и тестовую выборки. Помимо MSE, используемой для оптимизации параметров моделей, на каждой эпохе также вычислялась средняя абсолютная ошибка, обеспечивающая интуитивно понятную оценку качества работы нейронной сети. Наилучшую точность среди моделей со случайно инициализированными весами продемонстрировала архитектура нейронной сети, в которой использовалась операция soft-argmax для определения субпиксельных координат пиков яркости (рис. 6 б ), график обучения которой представлен на рис. 8 а . Из графика (рис. 8 а ) видно, что переобучение наступает в районе 23 эпохи, при этом средняя абсолютная ошибка модели составляет 6 пикселей.
Наилучшую точность среди нейронных сетей, где в качестве энкодеров выступали предобученные модели, показала модель на основе энкодера ConvNeXt-Tiny с операцией soft-argmax для субпиксельной регрессии координат (рис. 7 б ). Ее кривая обучения представлена на рис. 8 б , а пример локализации пиков яркости – на рис. 9.
Значения MAE, полученные на тестовых данных для всех исследуемых моделей до наступления переобучения, представлены в табл. 1.
Рис. 8. График обучения: (а) сверточной нейронной сети со случайными весами и операцией soft-argmax для вычисления субпиксельных координат, (б) нейронной сети с энкодером на базе ConvNeXt-Tiny и операцией soft-argmax для вычисления субпиксельных координат
Заключение
В работе выполнен практический сравнительный анализ методов на базе сверточных нейронных сетей для субпиксельной локализации центров пиков яркости на биспиральных наноскопических изображениях флуоресцирующих нанокристаллов. Рассмотрены три схемы предсказания координат: прямая регрессия, вычисление координат по тепловым картам с помощью операции soft-argmax, а также комбинации операции soft-argmax с отдельной головой для вычисления субпиксельного смещения. При этом в качестве энкодеров использовались сверточная нейронная сеть со случайно инициализированными весами, а также предобученные модели ResNet-18, EfficientNet-B0 и ConvNeXt-Tiny. Результаты показали преимущество использования схемы с комбинацией операции soft-argmax и современных предобученных энкодеров. Лучшая точность была достигнута у модели, в которой использовалась преодобученная нейронная сеть ConvNeXt-Tiny в качестве энкодера, а регрессия координат центров пиков яркости выполнялась с помощью операции soft-argmax. Средняя абсолютная ошибка данной модели составила 0,6024 пикселя до наступления переобучения на семнадцатой эпохе. Для EfficientNet-B0 с soft-argmax ошибка составила 0,9152 пикселя, для ResNet-18 – около 2,66 пикселя, тогда как сверточная нейронная сеть со случайно инициализированными весами в комбинации с операцией soft-argmax обеспечила точность не лучше 6,03 пикселя. Прямая регрессия координат на базе последовательной нейронной сети уступала использованию операции soft-argmax даже при сильных энкодерах. В частности, использование предобученного энкодера ConvNeXt-Tiny в комбинации с прямой регрессией координат обеспечило среднюю абсолютную ошибку 3,081 пикселя. Добавление отдельной головы смещения к soft-argmax в среднем не улучшало точность и иногда ухудшало ее. Так, для схемы с предобученным энкодером ConvNeXt-Tiny, операцией soft-argmax и отдельной головой, вычисляющей субпиксельное смещение, средняя абсолютная ошибка составила 1,3096 пикселя. Дальнейший прогресс ожидается за счет использования более мощных энкодеров, дообучения на реальных и синтетических данных, введения температурных коэффициентов в функцию ошибки и постобработки максимумов, например гауссовой аппроксимации.
Табл. 1. Значения MAE для исследуемых моделей, полученные на тестовых данных до наступления переобучения
|
Энкодер |
Прямая регрессия координат с помощью последовательной нейронной сети |
Определение координат с помощью операции soft-argmax |
Определение координат с помощью операции soft-argmax и головы, вычисляющей смещение |
|
CNN со случайными весами |
9,688 (10 эпох) |
6,031 (23 эпохи) |
7,831 (14 эпох) |
|
ResNet18 |
5,171 (12 эпох) |
2,6569 (6 эпох) |
3,991 (12 эпох) |
|
EfficientNet |
4,001 (21 эпох) |
0,9152 (29 эпох) |
1,569 (9 эпох) |
|
ConvNeXt |
3,081 (9 эпох) |
0,6024 (17 эпох ) |
1,3096 (15 эпох) |
Рис. 9. Пример локализации пиков яркости на биспиральном наноскопическом изображении с помощью нейронной сети с предобученным энкодером ConvNeXt-Tiny и операцией soft-argmax для субпиксельной регрессии координат
Работа выполнена при поддержке АНО «Аналитический центр при Правительстве Российской Федерации», грант № 70-2025-000738.