Про эффективность чат-бота спрашивают в двух ситуациях: до внедрения, чтобы понять, стоит ли вообще, и после — когда бот работает, а понять, помог ли он, не получается.
В выдаче — списки метрик на два десятка пунктов: вовлечённость, удержание, глубина диалога, коэффициент вовлечения. Проблема таких списков в том, что они не отвечают на вопрос владельца: сколько денег или часов это принесло и как понять, что бот работает плохо.
Дальше — три числа, которые действительно важны, формула окупаемости, ориентиры для сравнения и порядок разбора, когда цифры оказались плохими.
Три числа, которые решают
Если считать только это, вы будете знать о своём боте больше, чем при двадцати метриках из отчёта.
Доля закрытых без человека. Из ста диалогов сколько закончились решением вопроса, и человек не потребовался. Главное число, потому что прямо переводится в высвобожденное время.
Время до первого ответа. Не бота — бот отвечает мгновенно, — а до ответа по существу. Если бот отвечает за секунду, но по половине вопросов клиент всё равно ждёт оператора до утра, эффект куда меньше, чем кажется по красивой цифре «средний ответ 0,8 секунды».
Стоимость одного диалога. Содержание и подписки, делённые на число обработанных диалогов, плюс токены, если бот отвечает моделью. Сравнивается со стоимостью того же диалога с человеком.
Метрики, которые красивы и бесполезны
Отдельный список, потому что именно эти цифры чаще всего попадают в отчёты подрядчиков.
Число сообщений. Растёт и когда бот полезен, и когда человек не может добиться ответа. Само по себе не значит ничего.
Средняя длина диалога. Трактуется в обе стороны: длинный диалог — то ли вовлечённость, то ли человек блуждает по меню. Без разбора причин бесполезна.
Скорость ответа бота. Всегда прекрасная, потому что это программа. Показывать её как достижение — способ увести разговор от неудобных чисел.
Число подписчиков бота. Метрика канала, а не бота. Приводит людей реклама и сообщество, обрабатывает их бот, и смешивать эти вещи — верный способ не понять, что работает.
Процент распознанных сообщений. Звучит технично, но говорит о понимании формулировки, а не о решении вопроса. Бот может «распознать» девяносто процентов и не решить ни одного.
Общее правило: метрика полезна, если по ней можно принять решение. Если число выросло, а что с этим делать — неизвестно, это украшение отчёта.
Формула окупаемости
Считается на месяц и без иллюзий. Понадобятся четыре величины, и все они добываются из собственных данных.
| Что берём | Откуда | Пример |
|---|---|---|
| Обращений в месяц | переписка, CRM, телефония | 800 |
| Доля типовых | выборка сотни диалогов руками | 60% |
| Время на один типовой ответ | замер по нескольким диалогам | 4 минуты |
| Стоимость часа сотрудника | оклад со взносами, делённый на часы | по вашим цифрам |
Экономия времени = обращения × доля типовых × доля, которую бот реально закрывает × время на ответ. Обратите внимание на третий множитель: бот не закрывает все типовые обращения, реалистично рассчитывать на большую их часть, но не на все.
Для примера выше при доле закрытия в две трети получается около 320 обработанных обращений и примерно 21 час в месяц. Это не «минус полсотрудника», а именно освобождённые часы — и стоят они ровно столько, сколько стоит час вашего человека.
Плюс не потерянные заявки. Считается отдельно и часто оказывается больше экономии времени: обращения ночью, в выходные и в моменты, когда все менеджеры заняты. Возьмите долю таких обращений в своей переписке, умножьте на конверсию в сделку и на средний чек.
Минус расходы. Разработка, распределённая на год работы, плюс ежемесячное содержание: подписка или сервер, обращения к модели, час-два на правки сценария. Порядок сумм разобран в статье про то, сколько стоит чат-бот.
Минус скрытые издержки. Та часть, которую в расчётах обычно пропускают: время на разбор переданных ботом диалогов, работа с недовольными, правки после каждого изменения в бизнесе.
Если после вычитания остаётся плюс — бот окупается. Если результат близок к нулю, решает не арифметика, а качество обслуживания: отвечать за минуту вместо трёх часов ценно даже при нулевой экономии.
На что ориентироваться
Чужие проценты — плохой ориентир, потому что зависят от однообразия обращений. Но порядок величин знать полезно.
| Тип задачи | Что реально автоматизируется | Почему так |
|---|---|---|
| Ответы на типовые вопросы | большая часть | вопросы повторяются дословно |
| Запись и бронь | большая часть | понятный сценарий с выбором |
| Приём и квалификация заявок | около половины | часть уточнений требует человека |
| Продажи со сложным выбором | меньшая часть | нужен разговор, а не сценарий |
| Разбор проблем и претензий | небольшая доля | каждый случай свой |
Правильная точка отсчёта — ваша собственная переписка. Возьмите сто последних диалогов и разложите: сколько уложилось в пять-шесть повторяющихся тем. Эта доля и есть потолок автоматизации для вашего бизнеса. Всё, что подрядчик обещает сверх неё, — обещание, а не расчёт.
Из этого же следует практическая вещь: разбор ста диалогов стоит сделать до заказа бота. Час работы даёт основание для решения и превращает разговор с подрядчиком из «сделайте нам бота» в «вот наши шесть тем, закройте их».
Что делать, если цифры плохие
Бот запущен, а закрывает мало. Разбор идёт по логам, и порядок такой.
- 1Собрать диалоги без результатагде человек ушёл или позвал оператора
- 2Сгруппировать причиныне понял, не было ответа, слишком долго
- 3Закрыть частые формулировкито, что спрашивают одинаково
- 4Сократить путьубрать лишние шаги до ответа
- 5Проверить через две неделина новых диалогах, а не на старых
Четыре причины, которые встречаются чаще всего.
Бот не понимает частых формулировок. Люди пишут «а сколько по деньгам», а сценарий ждёт слово «цена». Лечится списком синонимов или моделью — и обычно даёт самый заметный прирост.
Сценарий слишком глубокий. Ответ на четвёртом шаге меню. До него доходит меньшинство, остальные закрывают чат. Правило: частый вопрос закрывается за один-два шага, редкий может лежать глубже.
Нет ответа на главный вопрос. Иногда обнаруживается, что половина людей спрашивает про то, чего в сценарии нет вообще. Логи показывают это за десять минут.
Некуда деться. Кнопка «позвать человека» есть только в главном меню, и застрявший в ветке пользователь не может выйти. Кнопка выхода должна быть на каждом шаге.
Отдельно про почему чат-бот не работает написан целый разбор — там причины и с технической стороны тоже.
Что мерить, если бота ещё нет
Самая частая проблема при оценке эффекта: сравнивать не с чем. Цифры до запуска никто не снимал, и через полгода спор «стало лучше или нет» решается ощущениями.
Снять стоит четыре величины, и на это уходит день.
Сколько обращений приходит и по каким каналам. Включая те, что не доходят до CRM.
Сколько времени проходит до первого ответа. По каналам и по времени суток. Отдельно — сколько обращений приходит вне рабочих часов.
Сколько обращений остаётся без ответа вообще. Самое неприятное число и самый очевидный резерв.
Сколько времени уходит на переписку. Замер по нескольким сотрудникам за неделю, хотя бы приблизительный.
Эти четыре числа стоят дороже любой аналитики после запуска: они превращают разговор об эффективности из спора во что-то арифметическое.
Как это связано с деньгами компании
Отдельно стоит проговорить, потому что «эффективность бота» и «эффективность внедрения» — не одно и то же.
- Много однообразных обращений
- Значимая доля обращений вне рабочих часов
- Первый ответ влияет на выбор поставщика
- Неявки и незанятые окна стоят денег
- Менеджеры перегружены перепиской
- Обращений мало, каждое уникально
- Клиенты постоянные, общение личное
- Решение принимается долго и голосом
- Переписка не узкое место
- Некому править сценарий
Правый столбец — не приговор, а предупреждение: там бот скорее инструмент качества обслуживания, чем экономии, и продавать его себе как экономию не стоит. Общий разбор ситуации, нужен ли бизнесу чат-бот, вынесен в отдельную статью.
Пять ошибок измерения
Ошибиться в счёте проще, чем кажется, и почти всегда — в свою пользу.
Сравнивать с пустотой. Метрик до запуска нет, поэтому любые цифры после выглядят достижением. Лечится только заранее снятыми числами.
Считать заявки, а не выручку. Бот легко увеличивает число обращений — он снижает порог, писать проще, чем звонить. Но если доля дошедших до оплаты падает, рост заявок не значит ничего. Смотреть надо до денег.
Приписывать боту чужие заслуги. Запустили бота и одновременно рекламу, и рост записали на бота. Разделять эффекты трудно, но хотя бы держать в голове параллельные изменения — обязательно.
Мерить в первую неделю. Первые дни искажены любопытством и незакрытыми сценариями. Устойчивая картина складывается за два-три месяца.
Смотреть только на средние. Среднее время ответа в две минуты выглядит прекрасно, пока не выяснится, что днём это десять секунд, а ночью — четыре часа. Смотреть надо по срезам: по каналам, по времени суток, по типам обращений.
Общая рекомендация: держите отдельно счётчик «человек попросил оператора и не дождался». Это самое дорогое событие в жизни бота, и в средних показателях оно всегда растворяется.
Как проверять изменения сценария
Бот — не статичная вещь: сценарий правится постоянно. Проблема в том, что правки делают вслепую и потом спорят, стало лучше или хуже.
Меняйте по одному. Три правки за раз — и непонятно, какая сработала. Скучно, но иначе выводов не будет.
Сравнивайте одинаковые периоды. Неделя с неделей, а не выходные с буднями. У обращений сильная недельная сезонность, и она легко создаёт иллюзию улучшения.
Смотрите на конкретный участок. Если правили ветку про доставку, смотрите долю успешных диалогов именно про доставку, а не общую метрику: на общей изменение утонет.
Держите контрольные диалоги. Десяток типичных вопросов, которые прогоняются руками после каждой правки. Это защита от классической ситуации: улучшили одну ветку, сломали соседнюю.
Записывайте, что и когда меняли. Простой журнал правок с датой. Через месяц он отвечает на вопрос «а после чего у нас всё поехало» за минуту вместо дня раскопок.
Приём, который экономит много нервов: правки выкатывать в начале недели, а не в пятницу. Если что-то сломалось, это станет видно на живом потоке в тот же день, а не в выходные, когда никто не смотрит.
Отчёт на одну страницу
Что показывать руководителю или себе раз в месяц, чтобы решение принималось за пять минут.
| Показатель | Что означает | Что делать, если плохо |
|---|---|---|
| Обращений всего | нагрузка на канал | сравнить с рекламной активностью |
| Закрыто без человека, % | главный показатель эффекта | разбирать логи по причинам ухода |
| Передано человеку, % | сколько работы осталось людям | смотреть темы передач, закрывать частые |
| Не дождались ответа | потерянные клиенты | проверить дежурство и часы работы |
| Время до ответа по существу | скорость сервиса | смотреть по времени суток |
| Стоимость диалога | во что обходится канал | сравнить с ручной обработкой |
| Заявок из бота дошло до оплаты | связь с деньгами | проверить стык бота и CRM |
Семь строк, и все семь — это либо деньги, либо действие. Отчёт, в котором есть «вовлечённость» и «глубина диалога», но нет последней строки, не отвечает на главный вопрос: приносит ли это выручку.
Отдельно стоит следить за последней строкой в динамике. Заявки, которые перестали доходить до оплаты при неизменном их количестве, — обычно признак не бота, а того, что с ними стало происходить дальше: не успевают перезванивать, изменился поток, поменялся человек. Бот здесь работает как индикатор всего процесса продаж.
Эффективность в разных каналах
Один и тот же бот в разных мессенджерах показывает разные числа, и это нормально.
Сайт. Люди приходят с конкретным вопросом и торопятся. Доля закрытых высокая, диалоги короткие. Здесь особенно важна скорость первого экрана: виджет, который грузится три секунды, теряет часть посетителей до начала разговора.
Telegram. Самый терпимый канал: люди привычны к ботам, спокойно нажимают кнопки, возвращаются позже. Обычно лучшие показатели по глубине сценария.
ВКонтакте. Аудитория приходит из сообщества, часто уже знакома с брендом. Больше доля повторных обращений, и здесь ценно, что согласие на переписку бессрочно — можно вернуться к человеку позже.
WhatsApp. Ожидание живого человека выше, терпимость к меню ниже. Сценарии стоит делать короче, а кнопку оператора — заметнее. Плюс сказывается ограничение окна в сутки: диалог, не закрытый вовремя, продолжить бесплатно уже нельзя.
Маркетплейсы и доски объявлений. Решает скорость первого ответа: покупатель пишет нескольким продавцам сразу. Здесь бот окупается даже при низкой доле полных закрытий — просто потому, что отвечает первым.
Сравнивать эффективность бота между каналами имеет смысл, только когда эта разница учтена. Иначе легко объявить провалом канал, где просто другая аудитория и другие ожидания.
Как измерять бота с нейросетью
Если бот отвечает моделью, к обычным метрикам добавляются две.
Стоимость обращения к модели. Токены на диалог, умноженные на тариф. У российских моделей это десятки-сотни рублей за миллион токенов, и в пересчёте на диалог обычно копейки — но при большом потоке сумма становится заметной, и следить за ней надо ежемесячно.
Доля неверных ответов. Главное отличие от кнопочного бота: тот молчит, когда не знает, а модель может уверенно сочинить. Проверяется выборочно — полсотни диалогов в месяц читаются человеком. Это скучно и обязательно: одна выдуманная скидка обходится дороже месяца экономии.
Отсюда практическое требование к подрядчику: логи диалогов должны быть доступны вам, а не только ему. Без них ни проверить качество, ни разобрать претензию клиента невозможно.
Короткий регламент проверки
Что делать раз в месяц, чтобы бот не превращался в мебель.
- Прочитать двадцать случайных диалогов целиком. Ничто не заменяет чтение живой переписки: видно и формулировки, и раздражение, и места, где бот тупит.
- Посмотреть, где чаще всего зовут человека. Это список тем на доработку, отсортированный по важности самим спросом.
- Сверить ответы бота с реальностью. Цены, часы работы, условия, услуги. Изменилось хоть что-то — правится в тот же день.
- Проверить три главных числа и сравнить с прошлым месяцем.
- Убедиться, что заявки доходят. Отправить тестовую и проверить, что она появилась там, где её ждут. Обрыв на этом стыке — самая дорогая и самая незаметная поломка.
Последний пункт стоит того, чтобы делать его чаще остальных. Бот, который отвечает прекрасно, но чьи заявки перестали попадать в CRM после обновления, выглядит работающим и при этом не приносит ничего.
Что именно стоит автоматизировать в вашем случае и какой эффект от этого ждать — на странице про создание чат-ботов. А если вопрос шире переписки и звучит как «где вообще в наших процессах есть смысл», это уже разговор про внедрение ИИ в бизнес целиком: там тот же принцип — сначала считаем текущие числа, потом выбираем, что автоматизировать.
