Расчет эффективности внедрения чат - бота и анализ качества его работы

Автор: Чернова С.В., Кадирова В.А.

Журнал: Инфокоммуникационные технологии @ikt-psuti

Рубрика: Новые информационные технологии

Статья в выпуске: 4 т.20, 2022 года.

Бесплатный доступ

Данная статья посвящена расчету эффективности чат-бота и анализу качества его работы. Рассмотрены понятие чат-бота, принципы его работы, виды чат-ботов, различающихся по их сложности, а также предназначение чат-ботов и их применение в различных сферах деятельности. В статье проведены основные формулы математического расчета, которые позволяют оценить эффективность работы чат-ботов в той или иной сфере деятельности, а также их подробное описание. Проведен анализ, позволяющий в целом сделать выводы об эффективности применения чат-бота в работе той или иной сферы. В данной статье также использованы иллюстрации, посвященные сферам использования ботов и статистикой запросов посредством их применения. Вывод сделан на основании анализа, который и позволяет оценить эффективность применения и работы чат-ботов.

Еще

Чат-бот, разработка, показатели, расчет эффективности

Короткий адрес: https://sciup.org/140301273

IDR: 140301273   |   УДК: 004.031   |   DOI: 10.18469/ikt.2022.20.4.09

Calculation of the effectiveness of the chatbot implementation and analysis of the quality of its work

This article evaluates the effectiveness of a chatbot and its operational performance. The concept of a chat bot, its operation principles, types of chat bots that differ in their complexity, as well as the purpose of chat bots and their application in various fields of activity are considered. The article contains key formulas for mathematical calculation, which allow evaluating the effectiveness of chat-bots in a parti cular field of activity, as well as their detailed description. An analysis that allows to make conclusions about the effectiveness of the chatbot use in working process of special areas have been conducted. This article also includes illustrations on the areas of bot use and query statistics throughtheir usage. The conclusion is made according to the results of analysis, which allows to evaluate chatbot usage effectiveness and performance.

Еще

Текст научной статьи Расчет эффективности внедрения чат - бота и анализ качества его работы

В современном мире чат-боты стали использовать повсеместно, практически во всех сферах деятельности.

Чат-боты сегодня выступают в качестве универсальных инструментов коммуникации, благодаря чему обрели широкую известность и стали активно использоваться во всем мире. Боты получили такое распространение в то время, когда разработчики на- чали активно разрабатывать различные мессенджеры и социальные сети. Чат-боты в настоящее время максимально приближены к поведению человека в общении с пользователями засчет их постоянного усовершенствования и обучения. Чат-боты применяются в различных сферах и выполняют большое количество разнообразных функций.

Целью данной работы является расчет эффективности внедрения чат-бота на производстве и анализ эффективности его работы.

Чат-бот. Понятие, предназначение и применение в различных сферах

Чат-ботом называют автоматическую систему, предназначенную для общения с пользователями. Это алгоритм или робот, который оказывает пользователям помощь в решении различных задач.

К стандартным функциям всех чат-ботов, как правило, относят:

– принятие заявок;

– запись ответов пользователя;

– напоминания об акциях;

– подтверждение доставки;

– помощь в оформлении заказа;

– отмена записи;

– отправка информации в CRM и др.

Сегодня во многих мессенджерах и приложениях можно найти чат-боты, которые выполняют определенные задачи. Как правило, чат-боты можно встретить в социальных сетях; мессенджерах; мобильных приложениях; сайтах, использующих встроенную функцию онлайн-чата; голосовых помощниках, а также в отдельных веб-страницах.

Боты анализируют и используют в своей работе не только текст, но и графические изображения, а также голос или комбинацию голоса и текста. В большинстве случаев чат-боты призваны для решения двух больших групп задач: увеличения продаж и конверсии. Данные алгоритмы применяются в качестве посредников в общении с потенциальными и постоянными клиентами.

Чат-боты призваны снизить нагрузку на службу поддержки и операторов, что ведет к значительному сокращению затрат.

Данные алгоритмы предназначены для ответов на типовые вопросы пользователей, что направлено на помощь в принятии решения клиентом. Чаще подобные боты встречаются в крупных компаниях и корпорациях [1; 2].

Чат-боты различают по сложности на простые и сложные.

Простые чат-боты умеют отвечать только на те вопросы, которые были заданы разработчиком из- начально. Поиск осуществляется по ключевым словам. Такие чат-боты просты в разработке, не требую больших временных и денежных затрат, работают по одному прописанному заранее сценарию.

Сложные чат-боты, как правило, используют в основе своей работы искусственный интеллект.

При помощи искусственного интеллекта чат-бот способен осуществлять диалоги, которые максимально приближены к настоящему человеческому общению. Для обеспечения данного эффекта используются технологии распознавания и синтеза речи, а также технологии понимания естественного языка, алгоритмов машинного обучения и т.д. Такие боты нуждаются в постоянном обучении, а также добавлении новых актуальных сценариев для корректной работы с пользователями.

Обучение чат-бота со встроенным искусственным интеллектом предполагает несколько этапов:

  • 1.    Обучение чат-бота распознанию текста, графических изображений, а также человеческой речи, для чего разработчики используют различные языковые модели, включающие большой объем данных. Логика работы чат-бота основана на классах, поэтому запрос пользователя, который он расшифровывает, бот относит по смыслу к одному из перечисленных классов.

  • 2.    Для адекватного распознавания и соотношения системе необходимо учитывать контекст разговора. Отличие чат-ботов, построенных на использовании искусственного интеллекта, отличаются от простых ботов тем, что лингвисты-разработчики учат искусственный интеллект различать смысл сказанного с помощью различных сценариев поведения, а не выполнять поиск по ключевым словам. Это играет большую роль при распознавании смысла фраз с опечатками, использовании сленга или беспорядочного набора слов.

Разработка чат-бота, использующего искусственный интеллект намного дороже чат-бота, основанного на скрипте, из-за значительной разницы в трудовых и временных затратах, что заставляет заказчика заранее оценивать целесообразность таких инвестиций.

Простые чат-боты отлично подойдут для таких задач:

  • –    рассылка информации;

  • –    оформление заказов;

  • – доставка товаров на дом;

    – бронирование различных услуг.

Использование искусственного интеллекта для приведенных задач нерентабельно. Для таких функций, как правило, разрабатывают интер- фейсные боты, основанные на взаимодействии с пользователями посредством кнопок и произвольных текстовых команд.

Простые чат-боты не имитируют живого собеседника, но хорошо справляются с поставленными задачами благодаря простоте использования его клиентами.

Самые распространенные сферы применения чат-ботов в своей работе:

– HR;

– образование;

– IT;

– медицина;

– юридические услуги;

– банковские услуги.

В вышеперечисленных сферах деятельности интеграция чат-бота и искусственного интеллекта оправдана за счет того, что боты в своей работе используют поведенческие и семантические базы, что позволяет пользователям рассчитывать на квалифицированную поддержку, разумеется, в рамках заданных чат-боту полномочий. Однако даже такой чат-бот не может в полной мере заменить квалифицированного сотрудника [3; 4].

Чат-боты сегодня возможно применить абсолютно в любой сфере деятельности.

Чат-боты принято разделять на:

  • 1.    Маркетинговые – то есть те, которые осуществляют автоматические рассылки клиентам, содержащие информацию о кодах, скидках и специальных предложениях.

  • 2.    Информационные боты, предназначенные для подбора товаров и услуг, а также ответов на вопросы пользователей.

  • 3.    Боты, в которые интегрирован искусственный интеллект, что позволяет осуществлять первичную диагностику, вести диалоги с пользователями и т.д.

Рисунок 1. Использование ботов в различных сферах по результатам исследования A Consumer Research Study

На рисунке 1 приведены данные использования чат-ботов в различных сферах.

Несмотря на вышесказанное, чат-боты не способны в полной мере заменить человека: некоторые задачи алгоритмы не способны распознать, а соответственно, и выдать подходящий сценарий. В таких случаях боты все равно переключают клиента на оператора [5; 6].

На рисунке 2 приведены данные статистики запросов в чат-ботах.

Статистика запросов в чат-боте

Рисунок 2. Статистика запросов в чат – ботах

Расчет эффективности внедрения чат-бота и анализ качества его работы

Сегодня перед принятием решения о вложении денежных средств в ту или иную разработку, необходимо понять, насколько выгодно внедрение данной модели и сможет ли она окупить себя в полной мере. Для оценки эффективности работы чат-бота существуют основные формулы, с помощью которых можно выполнить соответствующие расчеты.

Сейчас довольно распространенным явлением стал пропуск заявок операторами или менеджерами из-за большой очереди, что приводит к задержкам и потерям клиентов.

Однако данную проблему можно легко решить, если внедрить чат-бот, что позволит не упустить ни один лид.

Согласно отзывам сотрудников «Ренессанс Жизнь», которые самостоятельно разработали бот в конструкторе Aimylogic и запустили его в мессенджере WhatsApp, количество лидов выросло на 70%. Данной тенденции поспособствовало то, что все контакты были сохранены в CRM по завершении диалога в WhatsApp, то есть появилась дополнительная возможность дальнейшей связи с клиентом.

Для расчета эффективности чат – бота в качестве инструмента лидогенерации необходимо сравнить стоимость лида и коэффициент конверсии до и после внедрения. Для получения корректных резуль- татов эксперимента стоит сравнивать количество лидов с чат-бота и формы регистрации:

X = (стоимость трафика + стоимость подписки на чат-бот платформу) / число лидов;

% = (количество лидов / количество трафика) * 100,

где X – стоимость лида после введения чат-бота; % – конверсия трафика в лид после введения чат-бота.

Если показатель X ниже, чем до введения чат-бота, то необходимо масштабировать его на другие каналы, такие как WhatsApp, Telegram, и др. Если же показатель X выше, необходимо обеспечить увеличение трафика, что приведет к нивелированию затрат на внедрение чат-бота. В противном случае чат-бот следует считать неэффективным инструментом лидогенерации в конкретном бизнесе.

Чат-бот может выполнять функцию дополнительного источника лидогенерации в социальных сетях, веб-сайтах или мессенджерах при скачивании гайда или чек-листа с обязательной авторизацией пользователей, что предусматривает получение контактных данных.

Для корректной оценки выгоды, которую можно получить от внедрения чат-бота, необходимо предварительно выполнить сравнение следующих показателей: CAC (Customer Acquisition Cost, стоимость привлечения клиента) и LTV (Lifetime Value, прибылью, которую клиент принесет за все время, пока будет пользоваться продуктами или услугами компании). Однако данные показатели активно используют и в других кейсах, требующих проведения оценки эффективности, так как их сравнение показывает окупаемость и эффективность канала.

n = (стоимость подписки на чат-бот платформу + стоимость трафика) / количество лидов за (3) отчетный период) / (% конверсии из лида в оплату);

LTV = среднее количество оплат за жизненный цикл * средний чек,

где n – CAC.

Когда показатель n меньше, чем LTV, чат – бот отлично подходит для лидогенерации. Но в том случае, когда n больше LTV, необходимо задуматься об увеличении трафика для окупаемости внедрения чат-бота. В том случае, когда дополнительный трафик не оказывает положительного эффекта, необходимо подумать об альтернативных каналах дополнительной лидогенерации.

Зачастую чат - бот используют в качестве автоворонки. Автоворонкой называют набор сообщений, призванный с целью мотивации к совершению целевого действия, таких как запись на демо-курсы или покупку какого-то продукта.

Согласно исследованиям, компания по цифровой трансформации бизнеса Mediagramm создала автоворонку, которая была направлена на потенциальных стажеров. Каждая стадия такой воронки предусматривала работу чат-бота. На первом этапе бот собрал информацию о 400 кандидатах, включая информацию о их специализации, профессиональном опыте, зарплатных ожиданиях, а также провел первичное тестирование.

Для выполнения расчета эффективности чат-бота для автоворонок, необходимо произвести сравнение его результатов с результатами других воронок, например, со стандартными воронками e-mail-сообщений и команд продаж.

F = (стоимость трафика + стоимость разработки автоворонки + стоимость подписки на сервис чат-ботов) / количество конверсий,

где F – стоимость конверсии через автоворонку.

В том случае, когда F значительно меньше стоимости стандартной конверсии, необходимо увеличить трафик на автоворонку. Если же значение F больше, то необходимо проверить, увеличился ли коэффициент конверсии из трафика в лид и из лида в продажу. Чтобы нивелировать стоимость разработки и внедрения чат – бота, необходимо постоянно увеличивать трафик. Если автоворонки не эффективны, а их работоспособность уступает стандартным воронкам, необходимо комбинировать их для достижения желаемых результатов.

Внедряют чат боты и с целью снижения операционных затрат как экономии времени операторов.

Поскольку ежедневно горячая линия любой компании испытывает колоссальную нагрузку из-за большого количества поступающих обращений, внедрение чат-бота порой просто необходимо. В том случае, когда FAQ-боты заменяют операторов в случае ответов на распространенные вопросы, операторы освобождают больше времени для решения сложных и нестандартных задач. К примеру, бот страховой компании «Кардиф» используют для автоматизации порядка 56% входящих звонков на первой линии поддержки.

Для расчета экономии времени оператора при внедрении чат-бота, необходимо использовать следующую формулу:

Экономия = (количество корректно отвеченных вопросов * среднее время ответа оператора * средняя ставка (6) оператора в час) – (стоимость создания бота + стоимость подписки на сервис).

Чат-бот возможно масштабировать на другие каналы только в том случае, когда экономия положительная. В противном случае необходимо думать об увеличении количества вопросов, на которые чат-бот должен отвечать, после чего непосредственно приступить к проверке корректности ответов.

Для примера расчета эффективности работы чат-бота возьмем модель экономии на найме персонала.

Увеличение потока типовых запросов всегда так или иначе связано с ростом клиентской базы. Перед наймом нового сотрудника в штат, необходимо обдумать возможность автоматизации того или иного бизнес-процесса. Внедрение чат-бота призвано как раз для этой цели [7; 8].

В качестве практической части рассмотрим работу сервисного центра «Метрология», который оказывает услуги поверки и замены счетчиков воды. Данная организация должна обрабатывать не менее 35-50 заявок в день посредством работы диспетчеров. Продуктивность роботы – свыше 200 заявок. Средняя зарплата диспетчера – 30000 рублей, при текущем потоке заявок обслуживание робота стоит около 15000 рублей. Однако диспетчеры не могут работать круглосуточно в отличие от чат-ботов. Кроме того, бот в отличие от сотрудников может отвечать на вопросы 24 часа в сутки, он никогда не болеет и не уходит в отпуск.

Экономию, как и время оператора можно посчитать. Если полученное значение больше стоимости найма, то необходимо внедрить чат-бота. Если же экономия существенно меньше стоимости найма, стоит обратить внимание на текучку кадров. Не исключено, что бот окупится в перспективе 12 месяцев.

Итак, проведем тестовый расчет по формуле 6: Экономия = (50*0,5*85) – 33 = 1928.

Из расчета, что:

  • –    среднее количество отвеченных вопросов в день – 50;

  • –    среднее время ответа оператора – 0,5 часа или 30 минут;

  • –    средняя ставка оператора в час, исходя из средней заработной платы 15000 рублей и количестве рабочих дней в месяц, равный 22 дням;

    – стоимость подписки на конструктор Aimylogic по тарифу Business Basic по приведенным выше параметрам за один день равен 197 рублей, исходя из стоимости 5900 рублей за месяц, среднее количество дней в месяце – 30.

Таким образом, согласно расчету, экономия от внедрения чат – бота в данной конкретной модели составит порядка 1928 рублей в сутки, а эффективность окажется выше за счет:

  • –    сокращения времени ответа клиентам;

  • –    привлечения новых клиентов;

  • –    круглосуточной доступности;

  • –    отсутствия необходимости использовать выходные, праздничные дни, а также отпуск.

Проведя анализ вышеперечисленного, а также выполнив ряд расчетов, можно сделать вывод, что внедрение чат-ботов в любой сфере деятельности практически всегда эффективно. Чат-боты обладают рядом преимуществ, а именно:

  • 1.    Доступность.

  • 2.    Низкие расходы на техническое обслуживание.

  • 3.    Повышение уровня обслуживания потребителей с помощью сбора и обработки данных.

  • 4.    Экономия трат на заработные платы большому количеству операторов.

  • 5.    Независимость платформы.

  • 6.    Возможность постоянного совершенствования и добавления новых сценариев.

  • 7.    Экономия времени [9; 10].

Для получения наибольшей эффективности от внедрения чат-бота необходимо сначала корректно поставить цель, а также произвести замеры метрик, чтобы иметь возможность провести анализ эффективности в дальнейшем.

Сэкономленные с помощью начала работы чат-бота деньги необходимо вложить в улучшение продукта.

Необходимо также обеспечить периодическое увеличение трафика.

Все вышеперечисленное поможет не только окупить внедрение чат-бота, но и увеличить доступность, а также доходность производства.

Все это говорит об эффективности внедрения чат-ботов на производстве в любой сфере деятельности.

Заключение

Таким образом, можно сделать следующие выводы:

  • 1.    Чат-боты эффективны при внедрении практически в любой сфере деятельности.

  • 2.    Чат-боты обеспечивают эффективное взаимодействие с клиентами.

  • 3.    При внедрении чат-бота на производство владелец добивается значительной экономии.

  • 4.    Чат-боты предоставляют возможность отслеживания доставляемости контента и данных о потребителях.

  • 5.    Чат-боты эффективны в генерации, квалификации и взращивании лидов.

  • 6.    Чат-боты легки в эксплуатации.

Список литературы Расчет эффективности внедрения чат - бота и анализ качества его работы

  • Даровская М. Чат-боты: для чего нужны и как создать. Гайд для тех, кто ещё не разобрался // Открытый обучающий сайт. URL: https://skillbox.ru/media/marketing/gayd-chatboty/(дата обращения: 22.01.2023).
  • Гувер А. Telegram бот. Введение // Открытый обучающий сайт. URL: https://kit.alexgyver.ru/tutorials/telegram-basic/ (дата обращения: 22.01.2023).
  • Искусственный интеллект в чат-ботах, как это работает и нужно ли вообще? // Открытый обучающий сайт. URL: https://botcreators.ru/blog/iskusstvennyj-intellekt-v-chat-botah-kak-jetorabotaet-i-nuzhno-li-voobshhe/ (дата обращения: 22.01.2023).
  • Создание чат-бота для бизнеса: выбираем решение и показываем процесс. Самое полное руководство на 2022 год. URL: https://vc.ru/marketing/396177-sozdanie-chat-botadlya-biznesa-vybiraem-reshenie-i-pokazyvaemprocess-samoe-polnoe-rukovodstvo-na-2022-god (дата обращения: 22.01.2023).
  • Усим О.В. На что способны чат-боты: где используются и как работают // Открытый обучающий сайт. URL: https://otzyvmarketing.ru/articles/na-chto-sposobny-chat-boty-gdeispolzuyutsya-i-kak-rabotayut/ (дата обращения: 22.01.2023).
  • Иванишина Д. Чат боты в маркетинге и бизнесе: функции, роли, возможности // Открытый обучающий сайт. URL: https://www.epochta.ru/blog/articles/chat-bots/ (дата обращения: 22.01.2023).
  • Радюшкина И. 5 формул для расчета эффективности чат-бота // Открытый обучающий сайт. URL: https://rb.ru/opinion/chatbotefficiency/ (дата обращения: 22.01.2023).
  • Как оценить эффективность чат-бота // Открытый обучающий сайт. URL: https://vc.ru/s/1254619-trafficcardinal/536704-kakocenit-effektivnost-chat-bota (дата обра-щения: 22.01.2023).
  • Чернышев А. 7 преимуществ использования чат-ботов для достижения бизнес-целей // Открытый обучающий сайт. URL: https://spark.ru/startup/templaterobot/blog/38187/7-preimuschestv-ispolzovaniya-chat-botov-dlyadostizheniya-biznes-tselej (дата обращения: 22.01.2023).
  • Пупазина В. 14 причин установить чат-бота в 2022 году. URL: https://www.cossa.ru/inqoob/301616/ (дата обращения: 22.01.2023).
Еще