Об особенностях сверточной архитектуры нейросети

В настоящее время существует множество задач, в которых требуется принять некоторое решение в зависимости от присутствия на изображении объекта и классифицировать его. Исследованием и разработкой методов, алгоритмов и систем для решения таких задач на ЭВМ занимается дисциплина, получившая название распознавание образов. Для создания искусственного интеллекта необходимо разработать модель поведения как у живого организма, способного учиться. Такой моделью является искусственная нейронная сеть. Все искусственные нейронные сети состоят из так называемых нейронов — модели, представляющей из себя пороговую величину, и связей между нейронами — синапсами. Модель нейрона показана на рисунке 1.

Рисунок 1 - Модель искусственного нейрона

Из рисунка можно получить общее представление о работе искусственного нейрона. На вход поступает некоторое количество сигналов, которое заранее определено архитектором нейронной сети по критериям отбора, связанными с типом решаемой задачи. Эти сигналы умножаются на вес W и суммируются. После, функция активации преобразует полученные данные в своего рода ответ. Обычно этот ответ находится в диапазоне [0;1] или [-1;1].

С учётом того, что каждый нейрон имеет вид, представленный на рисунке 2, можно сказать, что слой элементов S никак не преобразует данные, а лишь передаёт их на следующий слой, таким образом, его можно исключить [4]. Даже такая модель может решить задачу классификации и сформировать базовый логический элемент, например, исключающее ИЛИ.

Рисунок 2 - Архитектура персептрона

Перед использованием нейронной сети её необходимо обучить. Процесс обучения нейронной сети заключается в подстройке ее внутренних параметров под конкретную задачу. Процесс обучения осуществляется на обучающей выборке. Обучающая выборка включает входные значения и соответствующие им выходные значения набора данных. В ходе обучения нейронная сеть находит некие зависимости выходных полей от входных. Таким образом, возникает вопрос - какие входные поля необходимо использовать. Сложность может вызвать вопрос о количестве наблюдений в наборе данных. Количество необходимых наблюдений зависит от сложности решаемой задачи. При увеличении количества признаков количество наблюдений возрастает нелинейно, эта проблема носит название "проклятие размерности". При недостаточном количестве данных рекомендуется использовать линейную модель.

Аналитик должен определить количество слоев в сети и количество нейронов в каждом слое. Далее необходимо назначить такие значения весов и смещений, которые смогут минимизировать ошибку решения. Веса и смещения автоматически настраиваются таким образом, чтобы минимизировать разность между желаемым и полученным на выходе сигналами, которая называется ошибка обучения.

Ошибка обучения для построенной нейронной сети вычисляется путем сравнения выходных и желаемых значений. Из полученных разностей формируется функция ошибок.

Переобучение возникает в случае слишком долгого обучения, недостаточного числа обучающих примеров или переусложненной структуры нейронной сети. Так же переобучение связано с тем, что выбор обучающего множества является случайным. С первых шагов обучения происходит уменьшение ошибки. На последующих шагах с целью уменьшения ошибки параметры подстраиваются под особенности обучающего множества. Однако при этом происходит "подстройка" не под общие закономерности ряда, а под особенности его части - обучающего подмножества. При этом точность прогноза уменьшается.

Описанный процесс проиллюстрирован на рис. 1.6.

Рисунок 6 - Процесс обучений сети

На первом шаге ошибки прогноза для обучающего и тестового множества одинаковы. На последующих шагах значения обеих ошибок уменьшаются, однако с семидесятого шага ошибка на тестовом множестве начинает возрастать, т.е. начинается процесс переобучения сети.

В качестве метода минимизации ошибки используется метод градиентного спуска, суть этого метода сводится к поиску минимума (или максимума) функции за счет движения вдоль вектора градиента. Для поиска минимума движение должно быть осуществляться в направлении антиградиента. Метод градиентного спуска в соответствии с рис. 1.7.

Рисунок 7 - Метод градиентного спуска

Для скрытых слоев расчет ошибок осуществляется с помощью алгоритма обратного распространения ошибки. Суть алгоритма заключается в последовательном вычислении ошибок скрытых слоев с помощью значений ошибки выходного слоя, т.е. значения ошибки распространяются по сети в обратном направлении от выхода к входу. Алгоритм обратного распространения ошибки продемонстрирован ниже на рис. 1.8.

Рисунок 8 - Алгоритм обратного распространения ошибки

При проектировании автоматизированной системы необходимо не только изучение алгоритмов и архитектур нейронных сетей, но и так, же выбор технологий реализаций. Одним из важных аспектов создания системы, является база данных. База данных - это информация, объединённая по общему признаку, используемая прикладными программами, для удовлетворения информационной потребности пользователей или организации.

На основе исследований была выбрана сверточная архитектура нейронной сети, а так же алгоритм обратного распространения ошибки. Архитектура свёрточных нейросетей делает явное предположение вида «входные данные есть изображения», что позволяет закодировать определенные свойства под архитектуру. Благодаря этой особенности, предварительное объявление можно реализовать более эффективно, уменьшая при этом количество параметров в сети.