Технологии использования жестов для управления компьютерными и робототехническими системами

От современных компьютерных и робототехнических систем, управляемых человеком, в современном мире требуют, как минимум, удобства и интуитивности использования, но основным критерием является скорость, с которой технология позволяет работать оператору.

Технологии управления систем с помощью жестов обеспечивают пользователю интуитивно простое и удобное управление системой. Спектр их применения широк: от персональных компьютеров до хирургических роботов и систем с искусственным интеллектом.

Один жест может заменять серию нажатий клавиш клавиатуры и мыши, что существенно повышает скорость работы, а беспроводные технологии управления системами позволят работать на расстоянии от устройства.Отсутствие необходимости зрительного контакта позволит людям с ограниченными возможностями с большей легкостью управлять системами.

Такие технологии могут использовать видео-интерфейсы, ультразвуковые локаторы, кинематические датчики, системы структурированной подсветки или специальные устройства, например, перчатки.

Сегодня на рынке присутствует множество различных устройств, позволяющих управлять компьютером с помощью жестов.

Одной из них является универсальный контроллер ДУ – IMotion .

Контроллер представляет собой небольшое устройство, удобно закрепляющееся на ладони. IMotion создает виртуальный сенсорный экран, похожий на большое пространство перед пользователем, а функция обратной связи обеспечивает физическое ощущение прикосновения к виртуальному объекту внутри приложения.

IМotion может использоваться с любым компьютером, которым можно управлять с помощью клавиатуры и мыши.

Данный контроллер отличается приемлемой себестоимостью для среднего пользователя.

Минусами же данной технологии могут стать быстрая утомляемость оператора, так как, используя контроллер, необходимо держать руку на весу, и возможный недостаток различных жестов.

Кикстартер IMotion (на момент сентября 2018 года) собрал более 100’000$. Он превосходит конкурентов своей простотой и удобством.

Не менее интересным является контроллер Kai . Он подключается к внешним устройства по Bluetooth и позволяет управлять ими жестами руки без необходимости использовать внешние датчики или камеру. Девайс надевается на ладонь и внешне напоминает умный браслет. Корпус манипулятора обладает габаритами 13×77×23 мм.

Устройство компактно и подойдет для ежедневного использования. Поможет облегчить рабочий процесс и имеет достаточно низкую стоимость.

Минусом данной технологии является Bluetooth подключение, которое ограничивает радиус действия устройства.

Фондрайзинг Kai(на момент сентября 2018 года) собрал более 50’000$ и опережает конкурентов в удобстве, портативности и простоте использования.

Роботизированный помощник хирурга Gestonurse . Хоть медсестра и обеспечивает хирурга быстрой ответной реакцией, иногда могут возникнуть ошибки, основанные на человеческом факторе. Чтобы обеспечить хирургов быстрой и надежной помощью, была разработана технология Gestonurse, основанная на жестовой ассоциации команды и голосовом ее подтверждении. Устройство стерильно, просто в использовании, а также помогает решить проблему недостатка медперсонала в больнице.Gestonurse имеет быструю скорость отклика, что снижает время ожидания хирургом необходимых инструментов. Технология была разработана студентами из Школы Промышленной Инженерии, институт Пердью, а прототип находит положительный отклик среди хирургов и медработников. Но на данный момент у данной технологии имеются минусы: ограниченный функционал, подразумевающий лишь подачу инструментов, и большие габариты робота.

Контроллер Gest крепится к ладони и к каждому из пальцев с помощью соединительных проводов. Имеет широкий диапазон использования: от виртуальной клавиатуры, до контроля «умных домов». К компьютеру устройство подсоединяется по Bluetooth.

Минусом данной технологии, как и технологии Kai, является Bluetooth подключение. Кикстартер Gest был полностью собран в ноябре 2015 года и уже проявил себя среди пользователей.

Выполним сравнительный анализ рассмотренных устройств и выявим проблемы управления компьютерных и робототехнических систем, которые могут решить данные технологии.

Первым критерием сравнения являются: радиус работы, пределы перемещения оператора и скорость отклика.

IMotion работает в радиусе от 0,3 до 4,87 метров, поддерживает повороты в пределах (1,3°;-2,2°). Движения отражаются на экране в масштабе 1:1 с точностью 98%. Считывание происходит со скоростью от 30 до 100 кадров в секунду.

Kaiработает в радиусе до 60 метров благодаря BluetoothLowEnergy (BLE), измерения производятся с точностью до 1мм. Имеет задержку отклика меньшую, чем 10мс.

GestoNurse работает в радиусе хирургического стола, что составляет 1-1,5м. Движения ограничены набором жестов, нет отслеживания изменения положения руки. Имеет задержку отклика меньшую, чем 0,5с.

Gestработает в радиусе до 60 метров благодаря BLE. Измерения производятся с точностью до 1мм. Имеет задержку отклика меньшую, чем 40-60мс.

Вторым критерием сравнения является продолжительность работы от батареи.

Продолжительность работы Kai составляет 8 часов, когда как Gest утверждает, что их устройство работает целый день. GestoNurse питается только от сети.

Третьим критерием сравнения является габаритность и удобство использования.

IMotion в самой широкой части имеет длину 12 см. Закрепляется на любой части тела с помощью эластичных лент.

Kaiобладает габаритами 13×77×23 мм и закрепляется на ладони с помощью эргономичного ремешка.

Габариты GestoNurse зависят от размера помещения и по площади занимаемого пространства достигают 2м2.

Gest в самой широкой части имеет длину около 7 см и закрепляется с помощью ремешка на ладони и специальных универсальных клипс - на пальцах.

Четвертым критерием сравнения выступает стоимость устройства.

IMotion – от 150$. Kai – от 129$. GestoNurse – цена по запросу. Gest – от 150$ за одну перчатку, от 300$ за пару;

Заключительным, пятым критерием является полный перечень функционала и кроссплатформенность.

IMotion: контроллер заменяет клавиатуру и мышь виртуальным сенсорным экраном, использует четырехканальный датчик тактильной обратной связи, может использоваться совместно с очками виртуальной реальности (OculusRift) для отслеживания движения тела и рук в виртуальном пространстве. Одна компьютерная система поддерживает до четырех датчиков IMotion одновременно, разработчики могут адаптировать датчик под свои программные средства на платформе Windows, MacOS, Linux, совместим с мобильными телефонами и ТV, поддерживающими стандарт MHL.

Kai: не заменяет клавиатуру и мышь, а дополняет их, поддерживает управление презентациями, имеет функцию указки, создания зарисовок, совместим с Windows, MacOS, Linux приложениями, совместим со всеми SmartTV, совместим с VR и AR шлемами, позволяет управлять дронами, подходит для управления «Умных домов».

GestoNurse:  помощь хирургу при проведении операций и поддержание стерильности.

Gest: поддержка интуитивной работы в AdobePhotoshop для дизайна, различных программных средств для 3D моделирования, функция виртуальной клавиатуры для быстрой печати, работает с Windows, MacOSX, Android, IOS девайсами с поддержкой Bluetooth 4.0, позволяет управлять дронами, подходит для управления «Умных домов», осуществляет сбор сырой информации о движении ладоней для разработчиков.

Таблица 1. Сравнительный анализ параметров устройств, позволяющих управлять компьютером с помощью жестов

	IMotion	Kai	Gest	Gestonurs e
Точность считывания	98%	До 1 мм	До 1 мм	До 1 см
Радиус работы	0,3 - 4,87 м	0,3 – 60 м	0,3 – 60 м	1 – 1,5 м
Скорость отклика	<20мсек	< 10 мсек	< 40 мсек	<50 мсек
Продолжитель ность работы от батареи	8ч	8ч	12ч	От питания
Габаритность и удобство использования	12 см в самой широкой части	7,7 см в самой широкой части	7 см в самой широкой части	1,5 – 2 м

	Windows, Mac OS, Linux,	Windows, Mac OS, Linux,	Windows, Mac OS X, Android, IOS
	совместим с	SmartTV,
			девайсы с
	мобильными телефонами и	совместим с	поддержкой
		VR и AR
Платформы	ТV,	шлемами,	Bluetooth 4.0,
			дроны,
	поддерживаю	дронами,	подходит для
	щими	подходит для	управления
	стандарт	управления	«Умных
	MHL.	«Умных	домов»
		домов».

Рисунок 1. Диаграмма 1Средняя стоимость устройства (Доллары США)

Ожидается, что мировой рынок технологий распознавания жестов достигнет 33,05 млрд долларов США к 2025 году, увеличившись в среднем на 21,3%, согласно новому отчету GrandViewResearch, Inc. Увеличение числа цифровых систем в различных отраслях стимулирует рынок распознавания жестов. Простота внедрения из-за низкой технической сложности для конечных пользователей позволила отрасли бытовой электроники завоевать наибольшую долю рынка. Многие другие отрасли также начали использовать эти технологии.

Ожидается, что сегмент здравоохранения продемонстрирует высокие темпы роста со среднегодовым темпом 26,1%.

Рисунок 2. Прогноз развития рынка технологий жестового управления

Подводя итог , можно сделать следующие выводы: для использования наиболее эффективен контроллер Gest по причине того, что он объединяет в себе широкий функционал, приемлемую цену, полностью способен заменить клавиатуру и мышь, решить проблемы скорости работы и загромождения рабочего пространства.

• ■ Северная Америка ■ Европа ■ Азия ■ Остальная часть Мира

Рисунок 3. Доли рынка жестовых технологий по регионам

Для решения задач оперативности и нехватки персонала подойдут такие технологии, как GestoNurse. Спектр применения подобных технологий велик и затрагивает почти все области человеческой деятельности. С ростом проблемы нехватки рабочего персонала подобные технологии могут стать ключевыми.

Для повседневных задач подойдет контроллер Kai по причине своей портативности. Он станет отличным помощником в офисе, дома, на улице.

Перспективы развития технологий. Технологии жестового управления компьютерных и робототехнических систем имеют большой потенциал при соответствующей поддержке и разработке. По прогнозам, в перспективе данные технологии будутиспользоваться для решения следующих проблем:

• -    Возможность настраивать жесты под нужды пользователя.

• -    Повышение портативности.

• -    Внедрение поддержки жестовых языков.

• -    Отказ от проводных технологий.

• -    Возможность взаимодействия системы и пользователя в нестандартной обстановке.