Система сбора и отображения данных сенсоров киберфизической системы с применением дополненной реальности

Успешную деятельность современных промышленных и коммерческих предприятий, социальных и научных организаций сложно представить без применения большого числа сложных технических систем. К ним можно отнести автоматизированные производства, системы логистики и транспорта, «умные города» и системы безопасности. Особую роль играют системы энергоснабжения. Обеспечивая бесперебойное функционирование остальных объектов техносферы, они требуют принятия мер, обеспечивающих максимальную их эффективность и надежность. Вместе с тем энергооборудование имеет повышенные риски для здоровья эксплуатирующего персонала. Таким образом, весьма актуальным является разработка систем и комплексов, обеспечивающих повышение эффективности работы сложных технических систем и снижающих риски для эксплуатирующего их персонала.

Развитие сетей передачи данных и аппаратных средств привело к появлению концепции Ин- тернета вещей – перспективного направления для развития индустрии, исследований и разработок [1; 2] и в дальнейшем к построению различных технических комплексов как киберфизических систем.

Киберфизическая система (КФС) – сочетание информационно и логически взаимосвязанного объекта (технической системы как множества элементов, принадлежащих IoT), его цифрового двойника [3] и средств проактивного управления.

На схеме (рисунок 1) представлены три основных элемента киберфизической системы.

• •    физический объект как система устройств IoT;

• •    ее цифровой двойник;

• •    подсистема проактивного управления.

Применение подобного подхода позволить решить задачу – создать систему сбора и отображения данных. Наличие такой системы позволит эффективно управлять производством, минимизировать временные и финансовые затраты, исключить возможные репетиционные потери и повысить защищенность персонала от воздействия

Рисунок 1. Схема киберфизической системы

Magnetism and Proximity Hail Effect Sensor

SiliconLabs Si7210

Computation and Communication A AM Gortex-M4 multi-protocol radio SoG SiliconLabs Wireless Gecko EFR32MG12 1MB Flash. 25€ KB RAM

Air Quality

Air pollution, air quality, and breath analysis Cambridge CMOS CGS87 J

Pressure

Absolute Barometric Pressure Sensor ВмсЛ BMP280

Motion Tracking 6 axis gyroscope * accelerometer

TDK invonSenseiCM-20648

USB Program and Debugger Soggy J-Linkand mbed MSD Silicon Labs EFM32GG

Рисунок 2. Плата Thunderboard sense 2

Audio Sensing

PS Digital microphone

TDK fnvenSense ICS-43434

UV and Light

U V index, omlxent tight and proximity sensing

S№oon£abs Sr У 133

Environmental Sensors

Precision temperature and relative humidity

Silicon Lobs S17021

User Input and Feedback

2 push buttons and 4 high-power RGB LEDs

Large Memory

6 Megabit low power flash memory Macronix MX25R8035F

Data Acquisition and Analytics

Open SourceiOS/Androidapps 6 doud demos

вредных производственных факторов. Для создания подобного решения необходимо организовать выполнение следующих действий.

Сбор данных сети сенсоров

Одним из наиболее важных процессов в ки-берфизической системе является сбор данных. Полученные данные служат основой для создания цифровых двойников и позволяют составить прогноз для исследуемого объекта.

Для сбора данных были использованы платы Thunderboard Sense 2 (рисунок 2), оснащенные семью различными датчиками: температуры и влажности, УФ и внешней освещенности, давле- ния, качества воздуха и газа в помещении, микрофоном, светодиодами, датчиком Холла и шестиосевым инерциальным датчиком. Thunderboard Sense 2 – это компактная многофункциональная платформа для разработки, сочетающая в себе широкий спектр датчиков с мощной многопротокольной радиосвязью EFR32 и мобильное приложение, предлагающее связь Bluetooth и подключение к облаку.

Преимуществом использования таких плат является возможность их объединения в mesh-сеть. Такая сеть построена на принципе ячеек, в которой каждый узел соединяется друг с другом и способен принимать на себя роль коммутато-

Рисунок 3. Значения с сенсора температуры (temperature)

• • • source_ 1     * source_2 ■ source_3

Рисунок 4. Значения с сенсора влажности (humidity)

Рисунок 5. Значения с сенсора уровня шума (sound_level)

ра для остальных узлов сети [4]. Такой вид сети обеспечивает большое количество связей, вследствие чего обрыв одного соединения не нарушит функционирование всей сети в целом.

В представленной системе были получены и использованы только некоторые данные с датчиков, а именно: температура, влажность, уровень шума и освещенности. Все данные были получены со встроенных сенсоров оборудования. Графическая интерпретация данных, полученных с датчиков, представлена на рисунках 3–6.

С использованием полученного массива данных сенсоров был проведен регрессионный анализ и получена модель, описывающая зави-

Рисунок 6. Значения с сенсора уровня освещенности (light_level)

симость показателя, характеризующего работоспособное состояние физического уровня КФС, от значений множества невзаимосвязанных случайных факторов (1).

FS = - 38,1 T - 68,1 T -

- 0,55SL -10,01UV + 3,43P - (1) - 0,98EC - 0,000007M, где FS – Failure_Status, T – Temperature, H – Humidity, SL – Sound_Level, UV – UV_index, P – Pressure, EC – ECO2, M – Magnetic.

Значение коэффициента детерминации, определенного по методу наименьших квадратов, R ² = 0,78, что позволяет считать модель достаточно адекватной.

Данная модель может быть использована как один из инструментов предиктивного анализа для повышения эффективности функционирования КФС за счет обеспечения требуемой надежности ее физических элементов.

Для отправки данных на сервер использовался функциональный шлюз Wirepas Massive Gateway. Шлюз позволяет подключить локальную сеть к серверу, используя интерфейс MQTT (Message Queue Telemetry Transport) – наиболее часто используемый протокол обмена сообщениями для Интернета вещей (IoT) [5]. Протокол представляет собой набор правил, определяющих, как устройства IoT могут публиковать и подписываться на данные через Интернет. MQTT используется для обмена сообщениями и данными между IoT и промышленными IoT (IIoT) устройствами, такими как встраиваемые устройства, датчики, промышленные программируемые логические контроллеры (ПЛК) и т. д. Протокол основан на событиях и соединяет устройства по схеме публикации/подписки (Pub/Sub). Отправитель (Publisher) и получатель (Subscriber) общаются через темы (Topics) и отделены друг от друга. Соединение между ними обрабатывается брокером MQTT. Брокер MQTT фильтрует все входящие сообщения и правильно распределяет их среди подписчиков. Для связи с сервером используется сеть, содержащая платы, используемые в качестве узлов (node), и одну плату в качестве узла-приемника (sink). Чтобы иметь возможность взаимодействовать с сетью, приемник должен быть подключен к компьютеру, это позволит отправлять и получать данные от узлов через терминальное программное обеспечение [6].

Обработка и хранение данных

В качестве сервера был выбран одноплатный компьютер Raspberry Pi 3, имеющий большой список преимуществ:

• •    низкая себестоимость;

• •    низкое энергопотребление;

• •    множество опций полноценной операционной системы на ядре Linux, большинство из которых с открытым исходным кодом и не требуют затрат на лицензирование.

В данном случае Raspberry Pi использовалась сразу для нескольких целей: в качестве шлюза-маршрутизатора между сетью сенсоров и интернетом и в качестве MQTT брокера.

Полученные с сенсоров данные расшифровываются и заносятся в базу. Для шифровки и расшифровки данных использовался Protocol Buffers – протокол структурированной сериализации (передачи) данных, предложенный компанией Google в качестве эффективной двоичной альтернативы текстовому формату XML. По словам разработчиков, Protocol Buffers проще, компактнее и быстрее, чем XML, поскольку передает двоичные данные, оптимизированные для минимального размера сообщения. Формат представляет собой закодированную последовательность полей, состоящую из ключа и значения.

Рисунок 7. Отображение данных с сенсоров платы с помощью дополненной реальности

Рисунок 8. Разработанный маркер VuMark

Рисунок 9. Система сбора и отображения данных сенсоров киберфизической системы с применением дополненной реальности

Для хранения данных использовалась объектно-реляционная система управления базами данных – PostgreSQL. Данное решение очень популярно в последнее время, так как имеет много преимуществ, такие как:

• •    поддержка БД неограниченного размера;

• •    расширяемая система встроенных языков программирования и поддержка загрузки C-совместимых модулей;

• •    обширный список поддерживаемых типов данных.

Использование дополненной реальности (AR)

Для улучшения восприятия и сокращения времени реагирования персонала на изменение обстановки вывод информации производится с помощью устройств дополненной реальности. Визуализация в дополненной реальности реализовывалась на технической основе мобильных устройств с проецированием виртуального контента поверх видеопотока с фронтальной камеры.

Для реализации дополненной реальности на программной стороне использовался программный пакет Vuforia. Позиционирование дополненной реальности реализовывалось на основе распознавания по маркеру с возможностью последующего безмаркерного отслеживания на основе SLAM (simultaneous localization and mapping) – методе, используемом в автономных мобильных средствах для построения карты в неизвестном пространстве или для обновления карты в ранее известном пространстве с отслеживанием текущего местоположения и пройденного расстояния [7].

Работа созданного приложения показана на рисунке 7.

Маркеры VuMark

В качестве маркеров использовались VuMark, позволяющие дополнительно содержать в себе закодированную уникальную информацию. В представленной системе в каждый маркер VuMark кодировался уникальный идентификатор, позволяющий однозначно идентифицировать каждую визуальную мишень. Пример маркера изображен на рисунке 8.

Полная схема киберфизической системы представлена на рисунке 9.

Заключение

Описанная в статье система сбора информации является составной частью сложных промышленных объектов, реализующих концепцию киберфизических систем. Сеть сенсоров построена на основе плат Thunderboard Sense 2, основными преимуществами которых перед аналогами является возможность их объединения в беспроводную mesh-сеть. Серверная часть системы – одноплатный компьютер Raspberry Pi 3 c объектно-реляционной системой управления базами данных PostgreSQL и шлюзом протокола MQTT. Отображение информации реализовано на основе технологии дополненной реальности и предложено в качестве системы отображения информации. Представленная система разработана в лаборатории киберфизических систем Санкт-Петербургского государственного университета телекоммуникаций.

Система может быть использована в промышленных КФС и других IoT системах в сфере производства, логистики, медицины и безопасности для повышения эффективности их функционирования и сокращения рисков для персонала.

Исследование выполнено при финансовой поддержке РНФ в рамках научного проекта № 22-49-02023 «Разработка и исследование ме- тодов повышения надежности привязных высотных беспилотных телекоммуникационных платформ нового поколения».