Анализ и распознавание наномасштабных изображений: традиционные подходы и новые постановки задач

Исследователи всё больше и больше проникают в природу наномира. Появился инструментарий наноизмерений, с помощью которого можно изучать атомарную структуру вещества, причём изучать количественно [1,2]. Не прекращается разработка и совершенствование новых технологий микроскопии и инструментов следующих поколений.

Следует отметить, что фирмы-производители поставляют наноизмерительную аппаратуру, математическое обеспечение которой является закрытым для пользователя. Устройства позволяют получать НМИ, но недоступны с точки зрения понимания и совершенствования применяемых в них математических моделей и методов обработки изображений. При этом за последние 15-20 лет создана целая индустрия обработки изображений. Существует огромное количество пакетов обработки изображений (VIGRA [3], GIMP [4], DigitalMicrograph [5] и т.д.), которые позволяют выполнять различные операции над изображениями, решая задачи анализа и распознавания.

В настоящей статье показано, как формируются изображения при сверхвысоком увеличении в различных электронных устройствах (растровых, зондовых и т.д.), а также рассмотрены модели формирования изображения. Эти модели отличаются от моделей формирования изображений, которые используются в оптических системах и теории цифровой обработки сигналов и изображений. Следует ожидать, что, наряду с традиционными подходами к обработке подобных изображений, могут ставиться новые задачи и соответственно информационные технологии анализа и распознавания будут отличаться от традиционных.

1.    Наномасштабные изображения

Наномасштабное изображение (термин достаточно понятный и часто используемый в нанотехнологиях) – это изображение нанообъектов (характерный линейный размер составляет порядка 10-9м, или ангстрем 1Å), представленное в формате, привычном для восприятия глазом человека. Диаметр самого малого из атомов – атома водорода – равен 0,1 нм, следовательно, линейные размеры наблюдаемых нанообъектов составляют величину от 10 до 1000 диаметров атома водорода.

Современные возможности микроскопических исследований различного рода объектов и структур представлены на рис. 1 [6].

ОД нм (1А)

0,1 мм

100 нм

Рис. 1. Современные возможности микроскопических исследований [6]

1 см

10 нм

10 мкм

1 мкм

Разрешение оптических микроскопов ограничено длиной волны используемого света, что позволяет рассматривать изображения с линейным разрешением порядка доли микрона (несколько сот нанометров).

Электронная микроскопия даёт в различных модификациях линейное разрешение до десятой доли нанометра (ангстрем) [7]. При увеличениях в миллионы раз в твёрдых материалах можно наблюдать текстуры различного рода, атомарную структуру кристаллической решётки, в биологических – молекулы, белок, бактерии (рис. 1).

В НМИ проявляются определённые свойства строения материи, прежде всего периодичность, связанная с кристаллической структурой. Причём периодичность является самоподобной [8] и может носить многоуровневый вложенный характер. В наноструктурах, например молекулах белков, вложенность может достигать 4-ого порядка, когда спирали закручиваются в спирали и т.д. (рис. 2.). Эта упорядоченность связана с фундаментальными свойствами материи.

Рис. 2. Изображение наноструктуры из молекул ДНК (фиолетовые), скреплённых липидными нитями (зелёный) [9]

Изучение сайтов, содержащих примеры НМИ, позволяет отметить, что помимо того, что наномас-штабные изображения очень красивы, у них присутствует целый ряд особенностей – таких, которые воспринимаются глазом как нечто необычное. На рисунке 3 показан пример того, как меняется структура изображения при увеличении [10]. Снежинка – это типичный пример кристаллических структур. Можно визуально наблюдать, как связаны между собой вид снежинки в начале и структура после многократного увеличения. На рис. 4 представлено изображение крыла бабочки, полученное с использованием электронного микроскопа [11].

2.    Методы микроскопических исследований

Одна из целей микроскопии состоит в описании трёхмерной структуры материала [12]. На рис. 5 приведены пределы пространственного разрешения различных методов микроскопических исследований. По оси z разрешение – глубина, а по осям x , y – линейное разрешение.

Рис. 3. Снежинка под электронным микроскопом [10]

a)

б)

в)

г)

Рис. 4. Крыло бабочки под микроскопом: изображение бабочки Павлиний глаз (а); крыло бабочки в оптическом микроскопе (б); увеличение в электронном микроскопе в 200 раз (в); увеличение в 5000 раз [11] (г)

электронная микроскопия (РЭМ/СЭМ, Scanning electron microscopy, SEM) [12].

Осевое (Z) разрешение

1 мм

1 мкм

ПЭМ

i

о а

ГО 5 а to

§

о

PPM

О

§

а

Мезо-структурная область

ЯМР микроскопия

СОМ _КСЛМ.

РАМ

Электронная микроскопия

РЭМ

ТЭМ

СТМ Ту^{ннельная} микроскопия

1 нм         1 мкм        1 мм

Поперечное (X, У) разрешение

Рис. 5. Пределы пространственного разрешения различных методов микроскопических исследований.

КСЛМ - конфокальная сканирующая лазерная микроскопия; РАМ - растровая акустическая микроскопия; ЯМР - ядерный магнитный резонанс;

РЭМ - растровая электронная микроскопия;

СТМ - сканирующая туннельная микроскопия;

РРМ - растровая рентгеновская микроскопия;

ПЭМ - просвечивающая электронная микроскопия;

АСМ - атомно-силовая микроскопия;

ТЭМ - туннельная электронная микроскопия; СОМ - сканирующая оптическая микроскопия [12]

Электронную микроскопию можно разделить на 3 группы: просвечивающая электронная микроскопия (ПЭМ, Transmission electron microscopy, TEM), просвечивающая электронная микроскопия высокого разрешения (ВРЭМ, High-resolution electron microscopy, HREM), растровая или сканирующая

ПЭМ является наиболее универсальным классическим методом исследования структурных дефектов кристаллов, используется непосредственно для анализа морфологических особенностей, ориентации дефектов относительно решётки матрицы, определения их размеров. В просвечивающем электронном микроскопе электроны из некоторого источника, например, электронной пушки, попадают на образец, рассеиваются при прохождении сквозь него, фокусируются объективной линзой, проходят через увеличительную (проекторную) линзу и, наконец, создают искомое изображение. Длина волны электронов с энергией 100 кэВ примерно равна 0,004 нм, таким образом, разрешающая способность обычного просвечивающего электронного микроскопа составляет ~0,15 нм.

Сравнительно новым классом приборов являются сканирующие зондовые микроскопы , которые активно развиваются и применяются последние 15 лет. Сейчас известны десятки различных вариантов сканирующей зондовой микроскопии (СЗМ, Scanning probe microscopy, SPM). В основе работы этих приборов лежит контроль различных видов взаимодействия острой иглы с поверхностью исследуемого образца.

С точки зрения формирования наномасштабных изображений нас интересует область на рис. 5 с разрешениями, которые даёт атомно-силовая микроско-

пия, сканирующая туннельная микроскопия, туннельная электронная микроскопия, растрово-электронная микроскопия, просвечивающая электронная микроскопия и т.д. [7] Самым перспективным является сканирующий туннельный микроскоп, который позволяет наблюдать отдельные атомы вещества.

Основной теоретической характеристикой оптической системы при передаче и формировании изображения объекта является передаточная функция. Выражение для передаточной функции электронного микроскопа можно записать в виде [13]:

S ( x , y ) = F i A ( в ) exp

I          34     32

i π 0,5 C ^β +ε ^β

I , s где S (x, y) – передаточная функция, Cs – коэффициент сферической аберрации, β – апертурный угол, A (β) – h апертурная функция, λ =        – длина волны па-

2meE дающих электронов в пучке электронного микроскопа в вакууме, F{.} – преобразование Фурье.

В зависимости от параметров передаточной функции наблюдаемые изображения могут сильно отличаться (рис. 6).

Рис. 6. Формирование изображения в электронном микроскопе в зависимости от вида передаточной функции [14]

Следует отметить, что шумы в электронной микроскопии связаны с тем, что глубина резкости такова, что мы наблюдаем один атомарный слой, а под ним могут проступать много других разных слоёв. Т.е. шумы носят периодический характер. Такие помехи называются сосредоточенными по спектру (у них есть свои период и частота). В отличие от классической задачи фильтрации сигнала на фоне шума, мы имеем фильтрацию сигналов на фоне сосредоточенного по спектру шума. Решение известно – зарождающие полосовые фильтры эту компоненту вырезают как из сигнала, так и из шума. Одна из сложных задач обработки изображений – фильтрация изображения на фоне сосредоточенных помех спектральной оптики.

3.    Исследование структуры вещества

В материаловедении широко используются методы спектроскопических исследований [15] с целью получения элементного состава материалов.

Методы позволяют проводить анализ и определять наличие в составе вещества различных элементов от бериллия (Be) до урана (U).

Метод рентгеноспектрального анализа основан на использовании зависимости частот излучения линий спектра элементов от их атомного номера. Достоинством метода является то, что он является неразрушающим. Метод отличается высокой воспроизводимостью и пригоден для качественного и количественного определения всех элементов, имеющих порядковые номера от 5 до 90, в материалах сложного состава и сплавах.

В последнее время интенсивно развивается микрорентгеноспектральный анализ. Метод основан на возбуждении характеристического рентгеновского излучения в микрообъектах с помощью остросфокусиро-ванного электронного пучка. Специальные приборы – рентгеновские микроанализаторы – имеют систему сканирования электронного пучка по исследуемой поверхности и получения на телевизионном экране распределения определяемого химического элемента.

Метод рентгенофлуоресцентного анализа основан на сборе и последующем анализе спектра, полученного путём воздействия на исследуемый материал рентгеновским излучением. Таким образом, отличие спектроскопических методов исследования от электронной микроскопии состоит в том, что наблюдается не само изображение, а его Фурье-спектр.

Рентгеноструктурный анализ – один из дифракционных методов исследования структуры вещества. В основе данного метода лежит явление дифракции рентгеновских лучей на трёхмерной кристаллической решётке. Метод позволяет определять атомную структуру вещества и является самым распространённым методом определения структуры вещества в силу его простоты и относительной дешевизны.

Обычно образец в виде поликристалла (рис. 7 а ) или порошка (рис. 7 б ) помещают в центр регистрирующего устройства. Прошедшие через образец рентгеновские лучи образуют на поверхности этого устройства дифракционную картину, возникающую при отражении и преломлении рентгеновских лучей атомными плоскостями исследуемого вещества [15].

а)                              б)

Рис. 7. Изображения рентгеноструктурного анализа: дифракция на монокристалле (а);

порошковая дифракция [14] (б)

На рис. 8 показан линейчатый спектр полученного при анализе структуры природного минерала – сфалерита. Визуально этот минерал крайне трудно идентифицировать в ряду ему подобных. Однако

рентгеноспектральный анализ позволяет однозначно идентифицировать минерал на установление процентного соотношения между составляющими его элементами [14].

53943-ICSD

Lambda: 1.54178 Magnif: 1.0 FWHM: 0.250

Space grp: F-4 3m Direct cell: 5.4010 5.4010 5.4010 90.00 90.00 90.00

I ■ I ■ I ■ ■ ■ ■ I I I ■ I ■ I I I I ■ I I I I I I I ■ ■ ■ I I ■ I ■ I I ■ I ■ I I ■ I ■ I I ■ I ■ II

10      20      30      40       50      60

Рис. 8. Результаты рентгеноспектрального анализа природного минерала: сфалерит [14]

О существовании атомов, их размерах, расположении в молекулах и кристаллах имеется громадное количество экспериментальных данных, полученных различными методами, в том числе и методами рентгеноструктурного анализа. Однако все эти данные являются результатом достаточно сложных и часто непрямых измерений, исходя из которых, можно определить структуру исследуемого объекта. Электронная микроскопия непосредственно даёт изображение атомной структуры вещества. Большие возможности открывают методы компьютерной обработки и расчёта изображений. Если в отношении получения данных о структуре «идеальных», трёхмерно-периодических кристаллов и отдельных молекул ЭМ значительно уступает, например дифракционным методам, то она ничем не заменима в изучении реальной структуры кристаллов с разнообразными вариациями и нарушениями идеального строения [13].

риал конструируется из этих решёток, как из кирпичиков, в различных модификациях.

Пространственная решётка является математической абстракцией. В реальном кристалле около каждого узла расположена группа атомов, называемая базисом. Пространственная решётка вместе с базисом образуют кристаллическую структуру. Разные кристаллы могут иметь одинаковые решётки. Так, кристаллы германия, кремния и арсенида галлия обладают гранецентрированной кубической решёткой Бравэ, в то время как германий и кремний имеют структуру алмаза, а арсенид галлия – структуру цинковой обманки.

Базовых решёток Бравэ – 14, они приведены на рис. 9. В зависимости от пространственной симметрии, все кристаллические решётки подразделяются на семь кристаллических систем – это триклинная, моноклинная, ромбическая, тригональная, тетрагональная, гексагональная, кубическая.

Триклинная (параллелепипед)

Моноклинная (правильная призма)

Тригональная (ромбоэдрческая) (равносторонний ромбоэдр)

4. Анализ кристаллических решёток

Большинство наблюдаемых наноструктур имеет кристаллический характер, то есть атомы упорядочены в систему, называемую кристаллической решёткой. Кристаллические структуры присутствуют в основном во всех твёрдых материалах, некоторых аморфных и даже в биологических структурах. В медицине изучение кристаллограмм биологических жидкостей (крови, слюны и т.д.) необходимо для суждения о состоянии человека. При переходе к НМИ можно извлечь дополнительную значимую диагностическую информацию.

Для изучения свойств наноматериалов необходимо знать атомарную структуру, то есть определить типы атомов, являющихся строительными блоками, и их взаимное расположение в пространстве. Фундаментальным понятиям кристаллографии является понятие решёток Бравэ (рис. 8), размеры которых определяются величиной порядка ангстрем, из которых строятся все кристаллы [16]. Любой мате-

Гексагональная (призма с основанием шестиугольника)

Рис. 9. Типы кристаллических решёток Бравэ [16]

По форме элементарной ячейки они могут быть разбиты на шесть сингоний. Все возможные сочетания имеющихся в кристаллической решётке поворотных осей симметрии и зеркальных плоскостей симметрии приводят к делению кристаллов на 32 класса симметрии, а с учётом винтовых осей симметрии и скользящих плоскостей симметрии – на 230 пространственных групп [16].

Для того, чтобы определить структуру кристалла, нужно определить зависимость расположения материальных частиц (атомов, ионов, молекул) в кристаллической решётке. Задачу распознавания НМИ, представляющих собой проекции кристаллических решёток, можно свести к определению типа кристаллической решётки. Решётки Бравэ представляют собой уникальное пространство признаков, которое позволяет разложить любое НМИ на элементарные структуры. Безусловно, решение подобной задачи очень сложно с вычислительной точки зрения, поскольку здесь мы имеем исключительно сложный «алфавит», сложное пространство признаков, и могут возникать проблемы NP-сложности. Один из возможных подходов к решению такой задачи предложен в работе [17].

Исследованию подобных и других решётчатых структур с точки зрения описания математических моделей и методов анализа и идентификации посвящена обширная литература [18].

Также задачу анализа изображений проекций кристаллических решёток можно рассматривать с точки зрения восстановления трёхмерной структуры решётки. Большинство существующих методов распознавания трёхмерных объектов, как правило, сводятся к задаче распознавания плоских изображений их проекций, наблюдаемых на изображении. В работах [19,20] был предложен подход, основанный на одновременном анализе изображений проекций трёхмерного объекта, с целью восстановления его пространственной структуры. Рассматривая задачу восстановления объектов по проекциям, необходимо ввести некоторую характеристику, которая показывала бы, насколько полно рассматриваемый объект представлен на той или иной проекции. Это приводит к постановке новой для математики задачи о наблюдаемости сложной трёхмерной решётки по её проекциям.

5. Операции обработки наномасштабных изображений

Рассмотрим последовательно базовые операции обработки изображений [21,22] и проведём анализ их востребованности для обработки НМИ. Разработке и исследованию математического аппарата, обеспечивающего теоретическую основу для автоматизации обработки, анализа, оценивания и понимания изображений, посвящены работы [23,24].

Обработку НМИ можно условно разделить на операции низкого уровня, операции промежуточные, операции высокого уровня и операции с данными.

В табл. 1 представлены базовые операции обработки изображений, в правом столбце знак «+» означает, что операция необходима при обработке НМИ, знак «?» означает, что имеются некоторые сомнения.

Таблица 1.

Базовые операции обработки изображений

ОПЕРАЦИИ НИЗКОГО УРОВНЯ
Операции поэлементной обработки
арифметические и алгебраические операции	?
операции преобразования яркости и контраста	+
гамма-коррекция изображений	+
преобразование цветовых пространств	-
Глобальные операции обработки
обобщённые спектральные преобразования	+
линейная фильтрация	+
гомоморфная фильтрация, выравнивание яркости	+
геометрические преобразования	?
устранение периодического шума	+
Обработка сканирующим окном
двумерные сепарабельные свёртки	?
рекурсивные фильтры	+
выделение контуров	+
ранговая фильтрация	+
скелетизация и препарирование	+
ОПЕРАЦИИ ПРОМЕЖУТОЧНОГО УРОВНЯ
сегментация
обнаружение объектов и деталей	?
оценивание параметров	+
определение статистических характеристик	+
ОПЕРАЦИИ ВЫСОКОГО УРОВНЯ	-
распознавание
классификация	+
диагностика	+
факторный анализ	+
ОПЕРАЦИИ С ДАННЫМИ	?
компрессия	+
кодирование и преобразование форматов, JPEG, TIFF, DICOM, …
поддержка крупноформатных изображений	?

ОПЕРАЦИИ НИЗКОГО УРОВНЯ:

Вначале над полученными изображениями проводят операции поэлементной обработки:

– операции преобразования яркости и контраста являются, безусловно, необходимыми, поскольку электронное изображение требует коррекции и нормировки;

– гамма-коррекция изображений, т.е. нелинейное преобразование, необходима, поскольку существует проблема фазового контраста – в зависимости от режима фокусировки частицы могут выглядеть темнее либо светлее фона;

– преобразование цветовых пространств (RGB, Lab…), по-видимому, неприменимо, поскольку НМИ цветом не характеризуются.

Глобальные операции обработки – операции по всем массивам баз данных (например, операции преобразования Фурье):

– обобщённые спектральные преобразования (при рентгеноспектральном анализе наблюдения осуществляются в спектральной области);

– линейная фильтрация (если известны системы уравнений и аппаратные функции формирования изображений, то возможно осуществить согласованную фильтрацию).

Среди глобальных операций отдельно можно выделить гомоморфную фильтрацию, т.е. выравнивание яркости. К сожалению, в электронной микроскопии имеется неравномерность освещения, поэтому необходимо выравнивать яркость по всему изображению.

Операции обработки сканирующим окном:

– двумерные свёртки – пока не нашли применения;

– ранговая фильтрация – безусловно необходима, импульсный шум на НМИ выступает в виде пятен, источником шума могут быть самые разные факторы.

ОПЕРАЦИИ ПРОМЕЖУТОЧНОГО УРОВНЯ:

– сегментация – вопрос серьёзный, так как в отличие от сегментации классической здесь имеется вложенная многоуровневая периодичность, (как именно сегментировать такое изображение, не очень понятно); основой для решения задачи сегментации НМИ, как показано в работе [17], может являтьcя анализ решёток Бравэ;

– определение статистических характеристик – классическая задача оценивания параметров НМИ (состоит в обнаружении различных дефектов и оценивании геометрических размеров наблюдаемых частиц).

ОПЕРАЦИИ ВЫСОКОГО УРОВНЯ:

– распознавание – решается по сути одна задача – идентификация решёток Бравэ.

ОПЕРАЦИИ С ДАННЫМИ:

– компрессия – при такой серьёзной многоуровневой вложенной периодичности необходимо провести анализ, какие применять алгоритмы компрессии, чтобы они были эффективны по сжатию и гарантировали характеристики.

Заключение

Анализ и распознавание НМИ приводят к постановке новых задач, обусловленных фундаментальными свойствами материи. Некоторые из них рассмотрены выше.

Основные свойства, характеризующие НМИ, – это многоуровневая (вложенная) периодичность и сложные модели наблюдения.

Специфика обработки НМИ до сегодняшнего дня исследована мало. Как было показано, значительная часть базовых операций обработки изображений требует определённой модификации и доработки к НМИ. При анализе НМИ необходимо учитывать физику регистрации изображений и особенность работы устройств получения НМИ, и в зависимости от этого разрабатывать специализированные алгоритмы обработки изображений. Следовательно, будут появляться новые результаты, новые и модифицированные алгоритмы, новые преобразования, которые будут связываться с практическими задачами.

Исследования проводились при поддержке ФЦП «Научные и научно-педагогические кадры инновационной России» (госконтракт № 02.740.11.0841), гранта Президента РФ поддержки ведущих научных школ (НШ-7414.2010.9), российско-американской программы «Фундаментальные исследования и высшее образование» (грант CRDF PG08-014-1), грантов РФФИ (10-07-00341-а, 10-137-00553-а, 10-01-90708-моб_ст), программы РАН «Фундаментальные науки – медицине».