Моделирование восстановления биологических и биотехнических систем с использованием аппаратной аналоговой и программной искусственных нейронных сетей

На сегодняшний день одним из перспективных направлений исследований, которые проводятся с целью восстановления работоспособности поврежденных биологических и биотехнических систем, является создание нейрочипов (НЧ) [1–5]. В качестве биологической системы могут быть, например, отдельные участки или области нервной ткани [6], в качестве биотехнических систем могут использоваться сложные системы, включающие биологические и технические элементы.

Примером биотехнических систем являются технологические машины и оборудование для биосинтетических процессов и биотехнологий: биореакторы для культивирования микроорганизмов, оборудование для биокаталитических процессов, оборудование для созревания пищевых

сред и т. п. [7] Элементами такой системы являются различные биологические объекты – бактерии или дрожжи в системах микробиологического синтеза, биодатчики в системах контролирования или поддержания параметров среды обитания, человек, управляющий сложными техническими устройствами и т. п. [8].

Нейрочипы, при их интеграции в биотехническую систему, для выполнения своих функций должны быть «подстроены» под нее путем проведения этапа предварительного обучения. Один из вариантов обучения НЧ базируется на использовании искусственных нейронных сетей (ИНС). При этом реализованная тем или иным способом архитектура НЧ должна будет соответствовать функциям и структуре ИНС. В настоящее время существует множество алгоритмов обучения ИНС «с учителем», в том числе и для ИНС прямого распространения. Однако одним из главных недостатков этих алгоритмов является необходимость наличия обучающих выходных паттернов для соответствующих входных векторов обучающей выборки (ОВ). Такой подход к обучению ИНС не представляется возможным для случая, когда ИНС нужно использовать в качестве инструмента для моделирования автоматизированного обучения НЧ для восстановления поврежденной биологической или биотехнической системы, потому что неизвестны входные и выходные векторы. Наиболее подходящим подходом к обучению в таких случаях является эволюционный подход.

Материалы и методы Реализация и моделирование повреждения аппаратной искусственной нейронной сети

Разработана и реализована аппаратная аналоговая искусственная нейронная сеть (ААИНС), в целях моделирования восстановления поврежденной биологической и биотехнической систем с использованием НЧ. В качестве НЧ выступает программная искусственная нейронная сеть (ПИНС), в качестве модели нервной ткани используется ААИНС с разомкнутыми весовыми коэффициентами (ВК) в целях моделирования повреждения биологических и биотехнических систем. Взаимодействие ПИНС и ААИНС, путем передачи сигналов позволяет провести процесс моделирования восстановления поврежденной биологических и биотехнических систем с использованием эволюционного подхода [9].

Перед реализацией ААИНС проводится этап создания ее ПИНС-модели, т. е. модели искусственной нейронной сети, реализованной на том или иной языке программирования. Обучение нейронной сети проводится в оригинальном программном пакете ANNBuilder [10–12], алгоритмом перебора ВК [10], т. к. в данном оригинальном алгоритме есть возможность гибкого перебора ВК сети. Возможность оригинального алгоритма перебора ВК при обучении нейронной сети обусловлена тем, что при реализации ААИНС, накладываются ограничения на порядок значений ВК ПИНС-модели преимущественно в диапазоне [0; 1], в связи с использованием резисторов различных номиналов сопротивления, как аналогов ВК нейронной сети. Алгоритм перебора ВК позволяет обучать ИНС путем перебора всех ее ВК по заданным пользователем параметрам, в отличии от градиентных методов, один из которых также реализован в программном пакете ANNBuilder в алгоритме обратного распространения ошибки, где значения ВК нейросети изменяются независимым от пользователя способом и значения ВК ничем не ограничиваются. Алгоритм перебора ВК хорошо подходит для создания небольших моделей в задачах классификации, т. к. подвержен попаданию в локальные минимумы, но позволяет подстроить значения ВК нейросети в заданных пределах и с требуемой точностью классификации.

Другим ограничением, связанным с особенностями ААИНС, является то, что значения ВК в аппаратной реализации отличаются от значений изначальной модели на ± 5%, что требует тестирования модели, перед аппаратной реализацией, на ее устойчивость к изменениям ее ВК на заданный процент.

В качестве модели используется многослойный перцептрон, с одним скрытым слое из пяти нейронов, двумя входами и двумя нейронами на выходе. Модель обучена на обучающей выборке из 500 элементов для задачи линейной классификации. На рисунке 1 приведена топология модели ААИНС.

Рисунок 1. Топология модели ААИНС. L(–) – порядковый номер слоя сети; N(–) – порядковый номер нейрона в слое

Figure1. Topology of the HAANN model. L (–) – the sequence number of the network layer; N (–) is the ordinal number of the neuron in the layer

После обучения ПИНС-модели проводится анализ конструирования ААИНС. Для каждого из нейронов высчитываются соответствующие сопротивления и резисторы нужных номиналов, для имитации значений ВК ПИНС-модели, а также строятся электронные схемы каждого нейрона в ПО Microcap [13].

Все проходящие по связям i -го нейрона сигналы, попадают в сумматор данного нейрона, где происходит суммирование входящих в него сигналов. Связи ААИНС, являющиеся аналогами ВК ПИНС-модели, имеют резисторы с номиналами сопротивления, соответствующими значениям ВК модели. Суммарный сигнал передается в операционный усилитель LМ224 [14], который является аналогом функции активации. На выходе из операционного усилителя, сигнал нормируется к рабочему для ПИНС-модели диапазону [0; 1]. На рисунке 2 приведен пример электронной схемы одного из нейронов, перед аппаратной реализацией.

Рисунок 2. Электронная схема одного из нейронов ААИНС

Figure2. Electronic circuit of one of the HAANN neurons

В ПО SprintLayout [15] построены схемы печатных плат для нейронов скрытого слоя, нейронов выходного слоя и соединительной платы, которая соединяет входы и выходы сети с нейронами и сами нейроны между собой. На рисунке 3 приведена фотография ААИНС.

Рисунок 3. Аппаратная аналоговая реализация искусственной нейронной сети

Figure3. Hardware analog implementation of an artificial neural network

После реализации и тестирования ААИНС, проведен этап повреждения сети, имитирующий повреждение биологической и биотехнической систем. Повреждение проводится путем разъединения контактов ВК ААИНС, в результате чего, точность ее классификации падает. В таблице 1 приведены результаты повреждения ААИНС. Изначальная точность ААИНС равна 95–100%.

Таблица 1.

Топологии повреждения ААИНС

Table1.

Topologies of damage to HAANN

№	Точность Accuracy (%)	Кол-во отключенных связей Count of disconnected weights
1	68,42	3
2	42,11	2
3	57,89	5
4	68,42	3
5	42,11	6
6	42,11	7
7	42,11	8
8	42,11	9
9	42,11	9
10	42,11	11
11	31,58	12
12	31,58	12

Перед этапом непосредственного восстановления функционирования поврежденной ААИНС, проводится этап конструирования генератора сигналов и аппаратной реализации коннекторов, которые будут передавать заданные сигналы с ААИНС на входы ПИНС и от выходов ПИНС на контакты ААИНС соответственно.

В качестве генератора сигналов и устройства считывания выходных значений ААИНС используется ArduinoUno [16], а также 2 12-битных ЦАПа MCP4921 [17] на каждый вход нейронной сети, управляемых через SPI [18] интерфейс ArduinoUno . Считывание выходных сигналов реализовано посредством встроенных АЦП ArduinoUno . На рисунке 4 приведена фотография генератора сигналов для ААИНС.

Рисунок 4. Генератор сигналов для ААИНС

Figure4. Signal generator for HAANN

В качестве коннектора к ААИНС также использовался ArduinoUno . Для передачи сигналов с ААИНС на входы ПИНС используются АЦП микрокомпьютера. Для передачи сигналов с выходов ПИНС на контакты ААИНС используются 6 12-битных ЦАПов MCP4921 , управляемых через SPI интерфейс ArduinoUno . На рисунке 5 приведен коннектор для ААИНС.

Рисунок 5. Коннектор для ААИНС

• Figure 5.    Connector for HAANN

Восстановление поврежденной аналоговой аппаратной нейронной сети

Для программного пакета ANNBuilder реализован модуль подстройки ПИНС под ААИНС, с использованием эволюционного подхода в целях восстановления последней. Т.е. сигналы, проходящие по коннектору, передаются и используются реализованным программным модулем, который в свою очередь имитирует подстройку нейрочипа под поврежденную биологическую и биотехническую систему на примере подстройки искусственных нейронных сетей с использованием эволюционного метода. На рисунке 6 приведен скриншот модуля, имитирующего подстройку нейрочипа на основе эволюционного подхода с использованием механизма «изолятов».

Рисунок 6. Скриншот модуля программного пакета АNNВuildеr, имитирующего подстройку нейрочипа на основе эволюционного подхода с использованием механизма «изолятов».

• Figure6.    Screenshot of the module АNNВuildеr, which simulates the adjustment of the neurochip on the basis of the evolutionary approach using the mechanism of "isolates".

Восстановление проводится путем воздействия на ВК ААИНС сигналов, являющимися выходами ПИНС.

В ходе экспериментов отключается все больше и больше ВК ААИНС с целью уменьшения точности ее классификации. Затем, к ВК ААИНС в случайном порядке подключаются контакты для считывания промежуточных сигналов ААИНС как входов в ПИНС. Случайность подключения имитирует то, что мы не можем точно знать к каким местам биологических и биотехнических систем подключиться, а имеем возможность подключаться к определенной промежуточной, для проходящих процессов, области, получая промежуточные параметры ее активности данных систем. Также подключаются выходы ПИНС к случайным ВК ААИНС или к суммарному сигналу отдельных нейронов для воздействия на ее промежуточные сигналы с целью ее восстановления программной нейронной сетью. На рисунке 7 приведена общая схема, на которой ААИНС сети с генератором сигналов и коннектором. Ромбовидные контакты сплошного контура соединяют выход коннектора со связями ААИНС; круглые сплошного контура соединяют вход коннектора со связями ААИНС. Пунктирным контуром соединены контакты ААИНС с генератором; сплошным контуром соединены контакты ААИНС с коннектором

Рисунок 7.Общая схема ААИНС с генератором сигналов и коннектором.

Figure 7. General scheme of HAANN with signal generator and connector.

Для восстановления ААИНС используется эволюционный подход с механизмом “изоляции” [19–21] для подстройки ПИНС. Для эволюционного метода обучения заданы следующие параметры: количество скрытых слоев – 1;

количество нейронов в скрытом слое – 50;

параметр α – 2(он характеризует угол наклона сигмоидальной функции активации нейронов [22]); количество поколений ИНС – 30; количество скрещиваний в каждом поколении – 2; количество ИНС в каждом поколении – 100; уровень коэффициента вариации (КВ) для мутации – 0,8; количество лучших ИНС для мутации – 50%; количество случайных ИНС из числа лучших ИНС для мутации – 30%. В нашем случае «мутация» ИНС – изменение i -x весовых коэффициентов, для которых коэффициент вариации по всей популяции ниже, чем заданный пользователем в заданном диапазоне. Порог изменения средней ошибки валидации эволюционного алгоритма для запуска «изоляции» – 1%; количество лучших ИНС для создания «изолятов» – 50; количество ИНС в одном «изоляте» – 9 (+1 родительская ИНС); изменение ВК родительской ИНС при создании дочерних ИНС внутри «изолята» – на 40%; количество поколений обучения «изолятов» – 10; количество скрещиваний в каждом поколении – 2; порог количества «неудачных» поколений для обновления «изолятов» – 3; допустимое количество обновлений «изолятов» – 2.

В качестве целевой функции используется обратная связь от ААИНС. В разработанном модуле на основе выходов ААИНС определяется наиболее вероятный класс и вычисляется ошибка на основе заранее заданных желаемых выходных значений для ААИНС, на которых была обучена ее изначальная ПИНС модель.

Результаты и обсуждение

Далее проведена серия из 12 вычислительных экспериментов по восстановлению ААИНС, в рамках моделирования восстановления поврежденных биологических и биотехнических систем посредством нейрочипа на основе эволюционного метода. В табл. 2 приведены результаты восстановления поврежденной ААИНС. Количество input контактов – количество весов, к которым подключены связи для передачи сигналов в ПИНС как вход; Количество output контактов – количество контактов, к которым подключены связи от ПИНС(выход) для воздействия на ААИНС.

Таблица 2.

Восстановление ААИНС с помощью ПИНС

Table2.

Recovery of HAANN by means of PANN

№	Точность Accuracy(%)	Количество input контактов Count of input contacts	Количество output контактов Count of output contacts
1	100	2	3
2	100	2	2
3	100	2	4
4	100	2	5
5	100	2	6
6	100	2	6
7	100	2	6
8	100	2	6
9	100	2	6
10	100	2	6
11	94,74	2	6
12	78,94	2	3

В таблице 3 приведены результаты восста-       Первое число – лучшая точность в поколении, новления поврежденной ААИНС с шагом в 5 по-      второе число – средняя точность для всего колений. По горизонтали – поколения с шагом в      поколения. Все значения указаны в процентах. 5 единиц, по вертикали – номер эксперимента.       ‘–' – эксперимент не проводился. Таблица 3. Результаты восстановления поврежденной ААИНС с шагом в 5 поколений Table3. Results of restoration of damaged HAANN in 5-generation increments
№	5	10	15	20	25	30	35
1	100; 95,47	–	–	–	–	–	–
2	100; 100	–	–	–	–	–	–
3	100; 95,79	–	–	–	–	–	–
4	100; 90,53	–	–	–	–	–	–
5	94,74; 66,74	100; 74,53	100; 84,16	100; 90,74	100; 92,58	100; 93,89	–
6	100; 66,32	100; 71,53	100; 80,05	100; 90,95	100; 92,84	100; 93,42	100; 93,84
7	94,74; 68,11	100; 82	100; 93,68	100; 94,26	100; 94,42	100; 94,63	–
8	94,74; 67,63	94,74; 76,58	100; 89	–	–	–	–
9	100; 75,11	100; 85,05	100; 92,89	–	–	–	–
10	94,74; 64,11	94,74; 71,16	94,74; 81,42	94,74; 91,74	100; 93,58	100; 94,84	–
11	94,74; 65,26	94,74; 71,89	94,74; 78,26	94,74; 87,74	94,74; 92,11	–	–
12	78,94; 67,47	78,94; 73,89	78,94; 75,21	–	–	–	–

Из таблицы 3 видно, что в большинстве случаев удалось восстановить точность классификации ААИНС до 100%. Средние значения точности классификации отражают среднюю точность всего поколения на указанной эпохе эволюции ПИНС. Лучшая точность отражает показатель точности лучшей ПИНС в поколении на указанной эпохе эволюции. Лишь при отключении 60% связей ААИНС (12/20), не удалось восстановить точность классификации до 100%, а только до 80–95% с 32%. Вышеописанные результаты подтверждают работоспособность предложенного подхода к восстановлению поврежденных биологических и биотехнических систем с использованием НЧ на основе эволюционного подхода.

Заключение

Реализована ААИНС, а также модуль имитирующий функционирование нейрочипа на основе эволюционного подхода и проведена