Расчет эффективности внедрения чат - бота и анализ качества его работы
Автор: Чернова С.В., Кадирова В.А.
Журнал: Инфокоммуникационные технологии @ikt-psuti
Рубрика: Новые информационные технологии
Статья в выпуске: 4 т.20, 2022 года.
Бесплатный доступ
Данная статья посвящена расчету эффективности чат-бота и анализу качества его работы. Рассмотрены понятие чат-бота, принципы его работы, виды чат-ботов, различающихся по их сложности, а также предназначение чат-ботов и их применение в различных сферах деятельности. В статье проведены основные формулы математического расчета, которые позволяют оценить эффективность работы чат-ботов в той или иной сфере деятельности, а также их подробное описание. Проведен анализ, позволяющий в целом сделать выводы об эффективности применения чат-бота в работе той или иной сферы. В данной статье также использованы иллюстрации, посвященные сферам использования ботов и статистикой запросов посредством их применения. Вывод сделан на основании анализа, который и позволяет оценить эффективность применения и работы чат-ботов.
Чат-бот, разработка, показатели, расчет эффективности
Короткий адрес: https://sciup.org/140301273
IDR: 140301273 | DOI: 10.18469/ikt.2022.20.4.09
Текст научной статьи Расчет эффективности внедрения чат - бота и анализ качества его работы
В современном мире чат-боты стали использовать повсеместно, практически во всех сферах деятельности.
Чат-боты сегодня выступают в качестве универсальных инструментов коммуникации, благодаря чему обрели широкую известность и стали активно использоваться во всем мире. Боты получили такое распространение в то время, когда разработчики на- чали активно разрабатывать различные мессенджеры и социальные сети. Чат-боты в настоящее время максимально приближены к поведению человека в общении с пользователями засчет их постоянного усовершенствования и обучения. Чат-боты применяются в различных сферах и выполняют большое количество разнообразных функций.
Целью данной работы является расчет эффективности внедрения чат-бота на производстве и анализ эффективности его работы.
Чат-бот. Понятие, предназначение и применение в различных сферах
Чат-ботом называют автоматическую систему, предназначенную для общения с пользователями. Это алгоритм или робот, который оказывает пользователям помощь в решении различных задач.
К стандартным функциям всех чат-ботов, как правило, относят:
– принятие заявок;
– запись ответов пользователя;
– напоминания об акциях;
– подтверждение доставки;
– помощь в оформлении заказа;
– отмена записи;
– отправка информации в CRM и др.
Сегодня во многих мессенджерах и приложениях можно найти чат-боты, которые выполняют определенные задачи. Как правило, чат-боты можно встретить в социальных сетях; мессенджерах; мобильных приложениях; сайтах, использующих встроенную функцию онлайн-чата; голосовых помощниках, а также в отдельных веб-страницах.
Боты анализируют и используют в своей работе не только текст, но и графические изображения, а также голос или комбинацию голоса и текста. В большинстве случаев чат-боты призваны для решения двух больших групп задач: увеличения продаж и конверсии. Данные алгоритмы применяются в качестве посредников в общении с потенциальными и постоянными клиентами.
Чат-боты призваны снизить нагрузку на службу поддержки и операторов, что ведет к значительному сокращению затрат.
Данные алгоритмы предназначены для ответов на типовые вопросы пользователей, что направлено на помощь в принятии решения клиентом. Чаще подобные боты встречаются в крупных компаниях и корпорациях [1; 2].
Чат-боты различают по сложности на простые и сложные.
Простые чат-боты умеют отвечать только на те вопросы, которые были заданы разработчиком из- начально. Поиск осуществляется по ключевым словам. Такие чат-боты просты в разработке, не требую больших временных и денежных затрат, работают по одному прописанному заранее сценарию.
Сложные чат-боты, как правило, используют в основе своей работы искусственный интеллект.
При помощи искусственного интеллекта чат-бот способен осуществлять диалоги, которые максимально приближены к настоящему человеческому общению. Для обеспечения данного эффекта используются технологии распознавания и синтеза речи, а также технологии понимания естественного языка, алгоритмов машинного обучения и т.д. Такие боты нуждаются в постоянном обучении, а также добавлении новых актуальных сценариев для корректной работы с пользователями.
Обучение чат-бота со встроенным искусственным интеллектом предполагает несколько этапов:
-
1. Обучение чат-бота распознанию текста, графических изображений, а также человеческой речи, для чего разработчики используют различные языковые модели, включающие большой объем данных. Логика работы чат-бота основана на классах, поэтому запрос пользователя, который он расшифровывает, бот относит по смыслу к одному из перечисленных классов.
-
2. Для адекватного распознавания и соотношения системе необходимо учитывать контекст разговора. Отличие чат-ботов, построенных на использовании искусственного интеллекта, отличаются от простых ботов тем, что лингвисты-разработчики учат искусственный интеллект различать смысл сказанного с помощью различных сценариев поведения, а не выполнять поиск по ключевым словам. Это играет большую роль при распознавании смысла фраз с опечатками, использовании сленга или беспорядочного набора слов.
Разработка чат-бота, использующего искусственный интеллект намного дороже чат-бота, основанного на скрипте, из-за значительной разницы в трудовых и временных затратах, что заставляет заказчика заранее оценивать целесообразность таких инвестиций.
Простые чат-боты отлично подойдут для таких задач:
-
– рассылка информации;
-
– оформление заказов;
-
– доставка товаров на дом;
– бронирование различных услуг.
Использование искусственного интеллекта для приведенных задач нерентабельно. Для таких функций, как правило, разрабатывают интер- фейсные боты, основанные на взаимодействии с пользователями посредством кнопок и произвольных текстовых команд.
Простые чат-боты не имитируют живого собеседника, но хорошо справляются с поставленными задачами благодаря простоте использования его клиентами.
Самые распространенные сферы применения чат-ботов в своей работе:
– HR;
– образование;
– IT;
– медицина;
– юридические услуги;
– банковские услуги.
В вышеперечисленных сферах деятельности интеграция чат-бота и искусственного интеллекта оправдана за счет того, что боты в своей работе используют поведенческие и семантические базы, что позволяет пользователям рассчитывать на квалифицированную поддержку, разумеется, в рамках заданных чат-боту полномочий. Однако даже такой чат-бот не может в полной мере заменить квалифицированного сотрудника [3; 4].
Чат-боты сегодня возможно применить абсолютно в любой сфере деятельности.
Чат-боты принято разделять на:
-
1. Маркетинговые – то есть те, которые осуществляют автоматические рассылки клиентам, содержащие информацию о кодах, скидках и специальных предложениях.
-
2. Информационные боты, предназначенные для подбора товаров и услуг, а также ответов на вопросы пользователей.
-
3. Боты, в которые интегрирован искусственный интеллект, что позволяет осуществлять первичную диагностику, вести диалоги с пользователями и т.д.

Рисунок 1. Использование ботов в различных сферах по результатам исследования A Consumer Research Study
На рисунке 1 приведены данные использования чат-ботов в различных сферах.
Несмотря на вышесказанное, чат-боты не способны в полной мере заменить человека: некоторые задачи алгоритмы не способны распознать, а соответственно, и выдать подходящий сценарий. В таких случаях боты все равно переключают клиента на оператора [5; 6].
На рисунке 2 приведены данные статистики запросов в чат-ботах.
Статистика запросов в чат-боте

Рисунок 2. Статистика запросов в чат – ботах
Расчет эффективности внедрения чат-бота и анализ качества его работы
Сегодня перед принятием решения о вложении денежных средств в ту или иную разработку, необходимо понять, насколько выгодно внедрение данной модели и сможет ли она окупить себя в полной мере. Для оценки эффективности работы чат-бота существуют основные формулы, с помощью которых можно выполнить соответствующие расчеты.
Сейчас довольно распространенным явлением стал пропуск заявок операторами или менеджерами из-за большой очереди, что приводит к задержкам и потерям клиентов.
Однако данную проблему можно легко решить, если внедрить чат-бот, что позволит не упустить ни один лид.
Согласно отзывам сотрудников «Ренессанс Жизнь», которые самостоятельно разработали бот в конструкторе Aimylogic и запустили его в мессенджере WhatsApp, количество лидов выросло на 70%. Данной тенденции поспособствовало то, что все контакты были сохранены в CRM по завершении диалога в WhatsApp, то есть появилась дополнительная возможность дальнейшей связи с клиентом.
Для расчета эффективности чат – бота в качестве инструмента лидогенерации необходимо сравнить стоимость лида и коэффициент конверсии до и после внедрения. Для получения корректных резуль- татов эксперимента стоит сравнивать количество лидов с чат-бота и формы регистрации:
X = (стоимость трафика + стоимость подписки на чат-бот платформу) / число лидов;
% = (количество лидов / количество трафика) * 100,
где X – стоимость лида после введения чат-бота; % – конверсия трафика в лид после введения чат-бота.
Если показатель X ниже, чем до введения чат-бота, то необходимо масштабировать его на другие каналы, такие как WhatsApp, Telegram, и др. Если же показатель X выше, необходимо обеспечить увеличение трафика, что приведет к нивелированию затрат на внедрение чат-бота. В противном случае чат-бот следует считать неэффективным инструментом лидогенерации в конкретном бизнесе.
Чат-бот может выполнять функцию дополнительного источника лидогенерации в социальных сетях, веб-сайтах или мессенджерах при скачивании гайда или чек-листа с обязательной авторизацией пользователей, что предусматривает получение контактных данных.
Для корректной оценки выгоды, которую можно получить от внедрения чат-бота, необходимо предварительно выполнить сравнение следующих показателей: CAC (Customer Acquisition Cost, стоимость привлечения клиента) и LTV (Lifetime Value, прибылью, которую клиент принесет за все время, пока будет пользоваться продуктами или услугами компании). Однако данные показатели активно используют и в других кейсах, требующих проведения оценки эффективности, так как их сравнение показывает окупаемость и эффективность канала.
n = (стоимость подписки на чат-бот платформу + стоимость трафика) / количество лидов за (3) отчетный период) / (% конверсии из лида в оплату);
LTV = среднее количество оплат за жизненный цикл * средний чек,
где n – CAC.
Когда показатель n меньше, чем LTV, чат – бот отлично подходит для лидогенерации. Но в том случае, когда n больше LTV, необходимо задуматься об увеличении трафика для окупаемости внедрения чат-бота. В том случае, когда дополнительный трафик не оказывает положительного эффекта, необходимо подумать об альтернативных каналах дополнительной лидогенерации.
Зачастую чат - бот используют в качестве автоворонки. Автоворонкой называют набор сообщений, призванный с целью мотивации к совершению целевого действия, таких как запись на демо-курсы или покупку какого-то продукта.
Согласно исследованиям, компания по цифровой трансформации бизнеса Mediagramm создала автоворонку, которая была направлена на потенциальных стажеров. Каждая стадия такой воронки предусматривала работу чат-бота. На первом этапе бот собрал информацию о 400 кандидатах, включая информацию о их специализации, профессиональном опыте, зарплатных ожиданиях, а также провел первичное тестирование.
Для выполнения расчета эффективности чат-бота для автоворонок, необходимо произвести сравнение его результатов с результатами других воронок, например, со стандартными воронками e-mail-сообщений и команд продаж.
F = (стоимость трафика + стоимость разработки автоворонки + стоимость подписки на сервис чат-ботов) / количество конверсий,
где F – стоимость конверсии через автоворонку.
В том случае, когда F значительно меньше стоимости стандартной конверсии, необходимо увеличить трафик на автоворонку. Если же значение F больше, то необходимо проверить, увеличился ли коэффициент конверсии из трафика в лид и из лида в продажу. Чтобы нивелировать стоимость разработки и внедрения чат – бота, необходимо постоянно увеличивать трафик. Если автоворонки не эффективны, а их работоспособность уступает стандартным воронкам, необходимо комбинировать их для достижения желаемых результатов.
Внедряют чат боты и с целью снижения операционных затрат как экономии времени операторов.
Поскольку ежедневно горячая линия любой компании испытывает колоссальную нагрузку из-за большого количества поступающих обращений, внедрение чат-бота порой просто необходимо. В том случае, когда FAQ-боты заменяют операторов в случае ответов на распространенные вопросы, операторы освобождают больше времени для решения сложных и нестандартных задач. К примеру, бот страховой компании «Кардиф» используют для автоматизации порядка 56% входящих звонков на первой линии поддержки.
Для расчета экономии времени оператора при внедрении чат-бота, необходимо использовать следующую формулу:
Экономия = (количество корректно отвеченных вопросов * среднее время ответа оператора * средняя ставка (6) оператора в час) – (стоимость создания бота + стоимость подписки на сервис).
Чат-бот возможно масштабировать на другие каналы только в том случае, когда экономия положительная. В противном случае необходимо думать об увеличении количества вопросов, на которые чат-бот должен отвечать, после чего непосредственно приступить к проверке корректности ответов.
Для примера расчета эффективности работы чат-бота возьмем модель экономии на найме персонала.
Увеличение потока типовых запросов всегда так или иначе связано с ростом клиентской базы. Перед наймом нового сотрудника в штат, необходимо обдумать возможность автоматизации того или иного бизнес-процесса. Внедрение чат-бота призвано как раз для этой цели [7; 8].
В качестве практической части рассмотрим работу сервисного центра «Метрология», который оказывает услуги поверки и замены счетчиков воды. Данная организация должна обрабатывать не менее 35-50 заявок в день посредством работы диспетчеров. Продуктивность роботы – свыше 200 заявок. Средняя зарплата диспетчера – 30000 рублей, при текущем потоке заявок обслуживание робота стоит около 15000 рублей. Однако диспетчеры не могут работать круглосуточно в отличие от чат-ботов. Кроме того, бот в отличие от сотрудников может отвечать на вопросы 24 часа в сутки, он никогда не болеет и не уходит в отпуск.
Экономию, как и время оператора можно посчитать. Если полученное значение больше стоимости найма, то необходимо внедрить чат-бота. Если же экономия существенно меньше стоимости найма, стоит обратить внимание на текучку кадров. Не исключено, что бот окупится в перспективе 12 месяцев.
Итак, проведем тестовый расчет по формуле 6: Экономия = (50*0,5*85) – 33 = 1928.
Из расчета, что:
-
– среднее количество отвеченных вопросов в день – 50;
-
– среднее время ответа оператора – 0,5 часа или 30 минут;
-
– средняя ставка оператора в час, исходя из средней заработной платы 15000 рублей и количестве рабочих дней в месяц, равный 22 дням;
– стоимость подписки на конструктор Aimylogic по тарифу Business Basic по приведенным выше параметрам за один день равен 197 рублей, исходя из стоимости 5900 рублей за месяц, среднее количество дней в месяце – 30.
Таким образом, согласно расчету, экономия от внедрения чат – бота в данной конкретной модели составит порядка 1928 рублей в сутки, а эффективность окажется выше за счет:
-
– сокращения времени ответа клиентам;
-
– привлечения новых клиентов;
-
– круглосуточной доступности;
-
– отсутствия необходимости использовать выходные, праздничные дни, а также отпуск.
Проведя анализ вышеперечисленного, а также выполнив ряд расчетов, можно сделать вывод, что внедрение чат-ботов в любой сфере деятельности практически всегда эффективно. Чат-боты обладают рядом преимуществ, а именно:
-
1. Доступность.
-
2. Низкие расходы на техническое обслуживание.
-
3. Повышение уровня обслуживания потребителей с помощью сбора и обработки данных.
-
4. Экономия трат на заработные платы большому количеству операторов.
-
5. Независимость платформы.
-
6. Возможность постоянного совершенствования и добавления новых сценариев.
-
7. Экономия времени [9; 10].
Для получения наибольшей эффективности от внедрения чат-бота необходимо сначала корректно поставить цель, а также произвести замеры метрик, чтобы иметь возможность провести анализ эффективности в дальнейшем.
Сэкономленные с помощью начала работы чат-бота деньги необходимо вложить в улучшение продукта.
Необходимо также обеспечить периодическое увеличение трафика.
Все вышеперечисленное поможет не только окупить внедрение чат-бота, но и увеличить доступность, а также доходность производства.
Все это говорит об эффективности внедрения чат-ботов на производстве в любой сфере деятельности.
Заключение
Таким образом, можно сделать следующие выводы:
-
1. Чат-боты эффективны при внедрении практически в любой сфере деятельности.
-
2. Чат-боты обеспечивают эффективное взаимодействие с клиентами.
-
3. При внедрении чат-бота на производство владелец добивается значительной экономии.
-
4. Чат-боты предоставляют возможность отслеживания доставляемости контента и данных о потребителях.
-
5. Чат-боты эффективны в генерации, квалификации и взращивании лидов.
-
6. Чат-боты легки в эксплуатации.
Список литературы Расчет эффективности внедрения чат - бота и анализ качества его работы
- Даровская М. Чат-боты: для чего нужны и как создать. Гайд для тех, кто ещё не разобрался // Открытый обучающий сайт. URL: https://skillbox.ru/media/marketing/gayd-chatboty/(дата обращения: 22.01.2023).
- Гувер А. Telegram бот. Введение // Открытый обучающий сайт. URL: https://kit.alexgyver.ru/tutorials/telegram-basic/ (дата обращения: 22.01.2023).
- Искусственный интеллект в чат-ботах, как это работает и нужно ли вообще? // Открытый обучающий сайт. URL: https://botcreators.ru/blog/iskusstvennyj-intellekt-v-chat-botah-kak-jetorabotaet-i-nuzhno-li-voobshhe/ (дата обращения: 22.01.2023).
- Создание чат-бота для бизнеса: выбираем решение и показываем процесс. Самое полное руководство на 2022 год. URL: https://vc.ru/marketing/396177-sozdanie-chat-botadlya-biznesa-vybiraem-reshenie-i-pokazyvaemprocess-samoe-polnoe-rukovodstvo-na-2022-god (дата обращения: 22.01.2023).
- Усим О.В. На что способны чат-боты: где используются и как работают // Открытый обучающий сайт. URL: https://otzyvmarketing.ru/articles/na-chto-sposobny-chat-boty-gdeispolzuyutsya-i-kak-rabotayut/ (дата обращения: 22.01.2023).
- Иванишина Д. Чат боты в маркетинге и бизнесе: функции, роли, возможности // Открытый обучающий сайт. URL: https://www.epochta.ru/blog/articles/chat-bots/ (дата обращения: 22.01.2023).
- Радюшкина И. 5 формул для расчета эффективности чат-бота // Открытый обучающий сайт. URL: https://rb.ru/opinion/chatbotefficiency/ (дата обращения: 22.01.2023).
- Как оценить эффективность чат-бота // Открытый обучающий сайт. URL: https://vc.ru/s/1254619-trafficcardinal/536704-kakocenit-effektivnost-chat-bota (дата обра-щения: 22.01.2023).
- Чернышев А. 7 преимуществ использования чат-ботов для достижения бизнес-целей // Открытый обучающий сайт. URL: https://spark.ru/startup/templaterobot/blog/38187/7-preimuschestv-ispolzovaniya-chat-botov-dlyadostizheniya-biznes-tselej (дата обращения: 22.01.2023).
- Пупазина В. 14 причин установить чат-бота в 2022 году. URL: https://www.cossa.ru/inqoob/301616/ (дата обращения: 22.01.2023).