Определение присутствия пользователей в интеллектуальном зале на основе отслеживания активности в беспроводной сети

Интеллектуальное пространство (ИП) формирует сервисно-ориентированную систему, обеспечивающую [1], [2], [5], [6] построение сервисов агентами на основе их взаимодействия через разделяемое использование информации, извлечения из нее знаний и доставки сервисов пользователям через интерфейсные устройства вычислительной среды. Система интеллектуального зала (ИЗ) реализует ИП [7], [10], предоставляющее сервисы для поддержки проведения таких мероприятий коллаборативной деятельности, как конференции. ИП локализовано в помещении, оборудованном вычислительными устройствами для построения и доставки сервисов участникам мероприятия. Персональные мобильные устройства обеспечивают доступ к сервисам ИЗ [10]. Беспроводная сеть ИЗ обеспечивает и доступ к внешним ресурсам сети Интернет. Реализация ИЗ выполнена на платформе Smart-M3 [5].

Интеллектуальность сервисов ИЗ может быть усилена за счет использования информации о присутствии участников [8]. Она может быть получена на основе отслеживания сетевой активности мобильных устройств на уровне передачи пакетов данных [9], [11]. В данной статье рассматривается задача отслеживания с применением технологии Innorange, реализующей метод

пассивной радиолокации с измерением мощности принимаемого сигнала для передаваемых пакетов. Полученное решение позволяет отслеживать активность зарегистрированных мобильных устройств, характеризуя присутствие участников. Разработан вариант интеграции технологии Innorange в ИЗ, обеспечивая отслеживание, накопление и обработку полученной информации для построения сервисов.

ЗАДАЧА ОТСЛЕЖИВАНИЯ ПРИСУТСТВИЯ УЧАСТНИКОВ

Метод пассивной радиолокации основан на измерениях мощности принимаемого сигнала мобильного устройства в беспроводной локальной сети. Мощность сигнала может быть измерена сетевым сенсором. Значение RSSI (от англ. «received signal strength indication») позволяет оценить расстояние от сенсора до мобильного устройства. Такой метод реализуется, в частности, технологией Innorange. Идентификация устройства выполняется по MAC-адресу. Встроенное в сенсор присутствия программное обеспечение OpenWRT отслеживает пакеты, передаваемые мобильными устройствами в беспроводной сети. Для каждого пакета определяются три параметра: временная метка, MAC-адрес, значение RSSI.

Сенсор присутствия устанавливается в центре помещения для обеспечения наибольшего покрытия пространственной области. После установки необходима калибровка для заданного помещения – определение порогового значения RSSI. Если значение RSSI превышает этот порог, то устройство будет рассматриваться как находящееся внутри помещения. Измеряемая информация о нахождении мобильного устройства в помещении характеризует и присутствие человека как пользователя. Участник ИЗ использует мобильное устройство для доступа к сервисам, и можно задать соответствие между MAC-адресом устройства и участником.

Рассмотрим далее три группы сценариев для ИЗ, основанных на использовании информации о присутствии.

S ₁ . Участники приходят на мероприятие. Перед началом основного мероприятия они собираются в помещении ИЗ. Их обнаружение активирует персонализированные приветственные сервисы и обеспечивает начало основной деятельности.

S ₂ . Участники приходят в помещение и выходят из него во время мероприятия. Текущий статус присутствия участника позволяет управлять повесткой мероприятия.

S ₃ . Анализ активности. В ходе мероприятия накапливается персонализированная информация, а по итогам формируется отчет по общему уровню активности и вкладу участников.

ПОДСИСТЕМА ОТСЛЕЖИВАНИЯ ПРИСУТСТВИЯ УЧАСТНИКОВ

Система ИЗ реализована как ИП на основе платформы Smart-M3 [5], [6]. Взаимодействие программных агентов происходит через обмен информационным содержимым ИП, доступ к которому выполняется через семантического информационного брокера (далее – брокер SIB, от англ. «semantic information broker»). Для представления информационного содержимого используется модель RDF (от англ. «resource description framework»), что позволяет хранить в ИП как непосредственно данные, так и их семантику [4].

Общая онтология информационного содержимого ИЗ представлена в [7], [10]. В нее входит контекст каждого участника и сервиса. Контекст участника определяется как его текущее состояние и используемые им сервисы. Контекст сервиса определяет, кем и как используется сервис. На рис. 1 представлена онтология присутствия участника и связей с другим содержимым (все отношения имеют тип «имеет/содержит»). Онтология профиля описывает персональную информацию и контекст используемых сервисов. Когда мобильное устройство обнаруживается сенсором присутствия, то сервис определения присутствия находит соответствующий профиль и обновляет информацию (например, время появления и время последней активности). Сервис отслеживает и изменяет информацию об уровне присутствия участника, а также регулярно обновляет параметры сетевой активности.

Рис. 1. Онтология для интеграции сервиса определения присутствия

Архитектурное решение для интеграции сенсора и сервиса определения присутствия в систему ИЗ представлено на рис. 2. Сенсор взаимодействует с агентом сенсора. Последний работает на выделенном компьютере как HTTP-сервер для получения от сенсора его измерений и публикации их в ИП. Агент сенсора также взаимодействует с сервисом управления содержимым.

Рис. 2. Архитектура для интеграции сервиса определения присутствия в систему ИЗ

Агент определения присутствия подписан на обновление информации о присутствии мобильных устройств. Он публикует в ИП уровень присутствия пользователя на основе модели состояний присутствия участника (см. следующий раздел). Этот уровень далее используется другими сервисами (например, сервис повестки мероприятия) в сценариях S ₁ и S ₂ .

Сервис анализа активности также строится выделенным агентом. Он также отвечает за визуализацию активности. В конце основной деятельности или по запросу сервиса накопленных данных от сервиса управления содержимым вычисляются показатели сетевой активности. Сервис анализа активности используется при реализации сценариев из группы S ₃ .

МОДЕЛЬ СОСТОЯНИЙ ПРИСУТСТВИЯ УЧАСТНИКА

В ИЗ каждый участник может иметь различные состояния присутствия. На рис. 3 представлена модель состояний присутствия участника ИЗ. Каждое состояние определяется совокупностью следующих логических параметров:

S' = (R, D, L), где R определяет, зарегистрирован ли участник в системе, D – обнаружено ли в помещении мобильное устройство сенсором, L – зашел ли участник в систему как пользователь с помощью клиента ИЗ.

Рис. 3. Модель состояний присутствия участника

В зависимости от состояния присутствия участник может быть классифицирован по одному из следующих уровней присутствия: Absent (отсутствие), Virtual (виртуальное присутствие), Physical (физическое присутствие), Full (полное присутствие). Участник не может отменить регистрацию в системе. Он может покинуть помещение или выйти из системы как пользователь, используя клиент ИЗ. Отслеживаются только зарегистрированные пользователи, предоставившие MAC-адрес своего мобильного устройства. Так, статус участника может быть визуализирован на экране повестки мероприятия в зависимости от текущего уровня присутствия.

Рассмотрим переходы между состояниями, когда изменяется параметр D, а параметры L и R остаются неизменными. На таких переходах основаны группы сценариев S1 и S2. Группа S3 не требует мгновенного обнаружения изменения состояния присутствия.

Группа сценариев S 1 использует однонаправленные переходы между состояниями, так как первоначальная идентификация участника в помещении происходит один раз перед началом мероприятия:

• +    R - D - L >■ R + D - L. (1)

Далее активируется персональный приветственный сервис, прежде чем участник зайдет в систему с помощью клиента.

Группа сценариев S 2 использует двунаправленные переходы, выполняемые после первоначальной идентификации участника:

• +    R - D - L ^+ R + D - L, (2)

• +    R - D + L ^+ R + D + L. (3)

ОЦЕНКА ПРОИЗВОДИТЕЛЬНОСТИ

Оценим производительность для групп сценариев S 1 – S 3 . В случае S 1 и S 2 оценивается время перехода между состояниями (1), (2) и (3). Для S ₃ измеряется: а) объем памяти, занимаемый регистрационными файлами, и б) время их обработки с вычислением показателей сетевой активности.

Для реализации сценария из группы S 1 необходимо выполнить следующие шаги.

Шаг 1. Сенсор определяет ближайшие устройства и отправляет информацию о присутствии агенту сенсора.

Шаг 2. При первом обнаружении MAC-адреса устройства агент сенсора публикует информацию о присутствии в ИП.

Шаг 3. Агент определения присутствия следит за добавлением индивидов класса « Присутствие» и изменением свойств данных. Такое слежение реализуется операцией подписки [3].

Шаг 4. Сервисы, которым необходима информация о присутствии участников, подписываются на соответствующие обновления.

На рис. 4 представлено распределение времени определения присутствия для одного участника (шаги 1–4). Размер выборки – 100 элементов. Среднее время составило 677 мс. Характерны частые выбросы, которые зависят от производительности беспроводной сети.

Для группы сценариев S ₂ важной является оценка порогового временного значения последней активности участника, которое зависит от вида мобильного устройства. Пороговое значение определяет время, прошедшее с момента проявления последней сетевой активности до времени, когда устройство считается покинувшим помещение.

Рассмотрим следующие мобильные устройства (смартфоны): а) iPhone 5 (iOS 7.1); б) Samsung Galaxy S3 (Android 4.3); в) Nokia Lumia 920 (Windows Phone 8.0). Каждое периодически отправ-

Рис. 4. Распределение времени определения присутствия участника

ляет пакеты запросов на зондирование по всем каналам передачи для определения ближайших точек доступа. Сенсор присутствия отслеживает такие пакеты, определяя присутствие мобильных устройств при неактивной передаче данных. Частота зондирования зависит от внутренних алгоритмов, реализуемых производителем на устройстве.

Частота отправки определялась с помощью мониторинга каналов беспроводной сети. Измерялся период времени, по истечении которого сенсор получает пакеты запросов на зондирование беспроводной локальной сети для конкретных смартфонов (рис. 5). Для устройства iPhone 5 данный период определялся диапазоном [40,50] секунд (рис. 5 (а)), для устройства Galaxy S3 – диапазоном [27,34] (рис. 5 (б)), для устройства Lumia 920 – диапазоном [31,37] (рис. 5 (в)). В экспериментах устройства были расположены примерно в 5 метрах от сенсора присутствия.

Агент определения присутствия постоянно отслеживает свойство «время последнего появления» и реагирует, когда значение данного свойства превышает пороговое временное значение последней активности. Таким образом, участник считается покинувшим помещение. Когда устройство снова обнаруживается в помещении, то участник рассматривается как вновь прибывший и выполняются шаги, описанные для сценариев группы S ₁ .

Для накопления статистики и ее анализа для группы сценариев S ₃ используется сервис управления содержимым, который реализуется как веб-сервер. Агент сенсора создает и отправляет HTTP-запрос сервису управления содержимым с измерениями сенсора присутствия. Сервис управления содержимым формирует регистрационный файл для каждого зарегистрированного участника. Файл состоит из текстовых строк, каждая содержит временную метку и значение RSSI обнаруженного пакета, отправленного мобильным устройством. Уровень сетевой активности участника к определим как L_k = n_k , где n_k – количество строк в файле участника k .

Известное число измерений и время их получения позволяет вычислить степень активности для участника k :

^j - г

fk =

t ⁽ s kj ) - t ⁽ s ki )’

¹ ^ i < j ^ n k ,

где s ki – измерение i в файле участника k , t ( s kj ) и t ( s_ki ) – значения временных меток в измерениях j и i в регистрационном файле участника k соответственно.

Анализ степени активности позволяет определить, когда участник покидал помещение во

Рис. 5. Распределение времени получения пакетов запросов время мероприятия. Пусть пороговое значение последней активности равно 60 с. Наши эксперименты показывают, что если степень активности становится меньше 0,017, то участник покинул помещение. Существует также зависимость степени активности от типа участника, например «очень активный пользователь» и «слабо активный пользователь».

В измерительном эксперименте проведено мероприятие с 10 докладчиками, каждое выступление с запланированной продолжительностью 15 мин. Участники использовали мобильные устройства для управления презентацией и для доступа к презентациям других участников. Сервис анализа активности запущен на выделенной ЭВМ (CPU 2.30GHz, RAM 4Gb, Windows 7) и вычисляет уровень сетевой активности, степень активности и среднее значение RSSI для каждого участника. Среднее время обработки файла составило 0,72 с. Средний размер файла – около 346 КБ. Потребовалось около 3500 КБ дискового пространства для хранения регистрационных файлов участников на сервисе управления содержимым.

ЗАКЛЮЧЕНИЕ

В статье рассмотрено использование метода пассивной радиолокации для определения присутствия участников в помещении. Сам метод реализован в известной технологии Innorange. Нами предлагается его интеграция в систему интеллектуального зала для расширения возможных сервисов этой системы за счет дополнительного источника информации – информации о присутствии участников и их сетевой активности (на уровне пакетов сетевого трафика). Разработаны сценарии использования в интеллектуальном зале, определяющие классы возможных сервисов с таким источником информации. Предложена онтологическая модель для сбора и представления в интеллектуальном пространстве информации о присутствии участников и модель состояния присутствия пользователя. Разработана архитектура интеграции в систему интеллектуального зала с выделением дополнительных агентов. Проведена оценка производительности интегрированной в интеллектуальный зал подсистемы определения присутствия участников.

* Исследование выполнено при финансовой поддержке Минобрнауки России в рамках проектной части государственного задания в сфере научной деятельности (НИР № 2.2336.2014/K) и по заданию № 2014/154 на выполнение государственных работ в сфере научной деятельности в рамках базовой части государственного задания (НИР № 1481).

• 1.    Корзун Д. Ж. Формализм сервисов и архитектурные абстракции для программных приложений интеллектуальных пространств // Программная инженерия. 2015. № 2. С. 3–12.

• 2.    Ло мов А. А. Взаимодействие программного агента на уровне сессии с интеллектуальными пространствами // Ученые записки Петрозаводского государственного университета. Сер.: «Естественные и технические науки». 2013. № 8 (137). С. 118–121.

• 3.    Ло мо в А. А., Кор зу н Д. Ж. Операция подписки для приложений в интеллектуальных пространствах платформы Smart-M3 // Труды СПИИРАН. 2012. № 4. С. 439–458.

• 4.    A l lemang D., He ndle r J. Semantic Web for the Working Ontologist: Effective Modeling in RDFS and OWL. Elsevier, 2008. 330 p.

• 5.    H o n ko l a J., L a i n e H., B r o w n R., Ty rk k o O. Smart-M3 information sharing platform // Proc. IEEE Symp. Computers and Communications (ISCC), 22–25 June 2010, Riccione, Italy. Washington: IEEE Computer Society, 2010. P. 1041–1046.

• 6.    Ko rz un D., B a l an d i n S., Luukkal a V., Liuh a P., Gurt ov A. Overview of Smart-M3 principles for application development // Proc. Congress on Information Systems and Technologies (IS&IT’11), Conf. Artificial Intelligence and Systems (AIS’11). Moscow: Physmatlit, 2011. Vol. 4. P. 64–71.

• 7.    Korzun D., G al ov I., B al andi n S. Development of smart room services on top of Smart-M3 // Proc. 14th Conf. Open Innovations Framework Program FRUCT. St. Petersburg, SUAI, 2013. P. 3744–.

• 8.    M arch en kov S., Korzun D. User Presence Detection Based on Tracking Network Activity in SmartRoom // Proc. 16th Conference of Open Innovations Association FRUCT, 27–31 Oct. 2014, Oulu, Finland. St. Petersburg, ITMO University, 2014. P. 45–50.

• 9.    Narzul l a ev A., P ark Y. Novel calibration algorithm for received signal strength based indoor real-time locating systems // International Journal of Electronics and Communications. 2013. Vol. 67. № 7. P. 637–644.

• 10.    Vdov e n ko A., M arc h e n kov S., Ko r z u n D. Mobile multi- service smart room client: Initial study for multi-platform development // Proc. 13th Conf. of Open Innovations Association FRUCT and 2nd Seminar on e-Tourism for Karelia and Oulu Region. 22–26 Apr. 2013, Petrozavodsk, Russia. St. Petersburg, SUAI, 2013. P. 143–152.

• 11.    Z hu X., F e ng Y. RSSI-based Algorithm for Indoor Localization // Communications and Network. 2013. Vol. 5. № 2B. P. 37–42.

Marchenkov S. A., Petrozavodsk State University (Petrozavodsk, Russian Federation) Korzun D. Zh., Petrozavodsk State University (Petrozavodsk, Russian Federation)

NETWORK ACTIVITY TRACKING DETECTION OF USER PRESENCE IN SMART ROOM

• 1.    K o r z u n D. Z h . Formalism of services and architectural abstraction for software applications of smart spaces [Formalizm servisov i arkhitecturnye abstraktsii dlya programmnykh prilozheniy intellektual’nykh prostranstv]. Programmnaya inzhe-neriya. 2015. № 2. Р. 3–12.

• 2.    L o m o v A. A. Session-level interaction of agent with the smart space. [Vzaimodeystvie programmnogo agenta na urovne sessii s intellektual’nymi prostranstvami]. Uchenye zapiski Petrozavodskogo gosudarstvennogo universiteta. Ser.: “Estest-vennye i tekhnicheskie nauki” [Proceedings of Petrozavodsk State University. Natural & Engineering Sciences]. 2013. № 8 (137). P. 118–121.

• 3.    L o m ov А. А., Ko r z u n D. Z h . Subscription operation for applications in smart spaces of Smart-M3 platform [Op-eratsiya podpiski dlya prilozheniy v intellektual’nykh prostranstvakh platformy Smart-M3]. SPIIR AS Proc. 2012. № 4. P. 439–458.

• 4.    A l l e m a n g D., H e n d l e r J. Semantic Web for the Working Ontologist: Effective Modeling in RDFS and OWL. Elsevier, 2008. 330 p.

• 5.    H o n ko l a J., L a i n e H., B r o w n R., Ty rk ko O. Smart-M3 information sharing platform // Proc. IEEE Symp. Computers and Communications (ISCC), 22–25 June 2010, Riccione, Italy. Washington: IEEE Computer Society, 2010. P. 1041–1046.

• 6.    K o r z u n D., B a l a n d i n S., Luu k k a l a V., L i u h a P., G u r t ov A. Overview of Smart-M3 principles for application development // Proc. Congress on Information Systems and Technologies (IS&IT’11), Conf. Artificial Intelligence and Systems (AIS’11). Moscow: Physmatlit, 2011. Vol. 4. P. 64–71.

• 7.    K o r z u n D., G a l ov I., B a l an d i n S. Development of smart room services on top of Smart-M3 // Proc. 14th Conf. Open Innovations Framework Program FRUCT. St. Petersburg, SUAI, 2013. P. 3744–.

• 8.    M ar c h e n kov S., Ko r z u n D. User Presence Detection Based on Tracking Network Activity in SmartRoom // Proc. 16th Conference of Open Innovations Association FRUCT, 27–31 Oct. 2014, Oulu, Finland. St. Petersburg, ITMO University, 2014. P. 45–50.

• 9.    N arz u l l a e v A., P a rk Y. Novel calibration algorithm for received signal strength based indoor real-time locating systems // International Journal of Electronics and Communications. 2013. Vol. 67. № 7. P. 637–644.

• 10.    Vdov e n ko A., M a r c h e n kov S., K o r z un D. Mobile multi- service smart room client: Initial study for multi-platform development // Proc. 13th Conf. of Open Innovations Association FRUCT and 2nd Seminar on e-Tourism for Karelia and Oulu Region. 22–26 Apr. 2013, Petrozavodsk, Russia. St. Petersburg, SUAI, 2013. P. 143–152.

• 11.    Z hu X., F e n g Y. RSSI-based Algorithm for Indoor Localization // Communications and Network. 2013. Vol. 5. № 2B. P. 37–42.