Любой владелец, который присматривается к ИИ-агенту, задаёт один и тот же вопрос, и вопрос этот правильный: а если он напишет моему клиенту глупость? Не в теории и не тестировщику, а тому самому клиенту, который ходит к вам годами и сейчас читает ответ с неверной ценой.
На этот вопрос можно ответить, не рискуя ни одним разговором. Способ называется теневым тестом, или тестовым режимом: агент работает на ваших настоящих входящих сообщениях, а ответы уходят не клиенту, а вам. Ниже о том, как проходит такой тест, что смотреть в отчёте и как исправить то, что не понравилось.
Что такое теневой тест
Теневой тест это время, когда агент подключён и работает в полную силу, но наружу молчит. В каналы приходят живые сообщения. Агент их читает, ищет ответ в ваших данных, пишет ответ, который отправил бы, и на этом останавливается. Ответ сохраняется для вас. Клиент от агента не получает ничего и продолжает общаться с вашими сотрудниками, как раньше.
Этим теневой тест отличается от двух вещей, с которыми его путают. Демо показывает подготовленный диалог продавца. Песочница даёт вам самому повводить тестовые вопросы. А теневой тест работает на вопросах, которые реально задают ваши клиенты, теми словами, какими они их задают, включая сообщение в час ночи с тремя вопросами в одну строку.
Почему демо доказывает меньше, чем кажется
Сценарные демо спотыкаются об одно и то же в любой отрасли: живой клиент не спрашивает так, как ожидает сценарий. Он спрашивает цену на то, чего нет в прайсе. Передумывает на середине. Пишет на языке, который никто не планировал. Просит скидку, потому что был у вас в прошлом году.
Именно эти случаи решают, полезен ИИ-агент вашему делу или нет, и ни один из них в демо не попадает. Они лежат в вашей же переписке, поэтому тест и должен идти там.
Три шага: установка, тестовый режим, запуск
В SVI любая команда агентов выходит в работу одинаково, в таком порядке:
- Установка. Решение или команда добавляется в ваш аккаунт, подключаются каналы: чат на сайте, Telegram, WhatsApp, Instagram, почта. Этот шаг за наш счёт.
- Тестовый режим, он же теневой тест. Агенты отвечают на ваши реальные сообщения, клиенты этих ответов не видят, а вы видите каждый ответ и получаете отчёт. Этот шаг тоже за наш счёт.
- Запуск. Когда ответы похожи на те, что дали бы вы сами, вы включаете агентов, и они начинают говорить с клиентами. Оплата начинается только здесь.
Порядок важнее, чем выглядит. Поскольку оплата начинается с запуска, никому не надо спорить о том, достаточно ли хорош агент вообще: вы сначала читаете его работу на своих же разговорах, а решаете потом. Те же три шага действуют и для готового решения, и для команды, которую вы собрали сами в конструкторе агентов.
Что смотреть в отчёте по тесту
Тест стоит ровно столько, сколько вы в нём проверили. Читать подряд каждый ответ реально в первые дни и бессмысленно дальше, лучше читать с несколькими конкретными вопросами в голове.
- Факты. Выберите ответы, где есть цена, дата, адрес или условие, и сверьте их со своими данными. Слабая настройка видна здесь быстрее всего.
- Передачи человеку. Посмотрите, где агент решил отдать разговор сотруднику. Слишком редко, это риск. Слишком часто, значит, ему не хватает данных, которые у вас есть.
- Отказы. Найдите места, где агент сказал, что не знает. Каждое такое место означает пробел в том, что вы ему дали, и чаще всего её легко закрыть.
- Тон. Прочитайте вслух три-четыре ответа. Это похоже на вашу компанию или на колл-центр из другой страны?
- Собранные заявки. Бронь или заказ должны приходить целиком: что, когда, кто, как связаться. Половина заявки означает работу для ваших людей, а не облегчение.
- Тяжёлые случаи. Жалобы, групповые брони, нестандартные требования, просьбы позвать руководителя. Здесь вы хотите увидеть, что агент отходит в сторону, а не сочиняет.
Чего в отчёте нет, так это оценки. Тест не говорит вам, запускать или нет: он показывает, что было бы сказано, а решение остаётся за вами.
Что менять и каким образом
Самое неожиданное для владельца: поправить ответ, который не понравился, не задача для программиста. Вы описываете правку обычными словами, как объяснили бы новому сотруднику, и правило меняется. Без кода, без заявки, без релиза.
- Неверный ответ. Дайте агенту то, чего не хватало: актуальный прайс, настоящие часы работы, условие, о котором он не знал.
- Ответ, зашедший слишком далеко. Скажите, где граница: не обещать дату без подтверждения, не обсуждать других клиентов, не согласовывать скидку.
- Слишком много или слишком мало передач. Назовите случаи, которые обязан увидеть человек, остальное агент закрывает сам.
- Не тот голос. Опишите, как вы хотите звучать: короче, теплее, строже, с тем приветствием, которое у вас принято.
Потом вы смотрите следующие дни переписки и проверяете, прижилась ли правка. Несколько таких кругов это норма, и именно они превращают универсального помощника в агента, который работает по-вашему. Правила можно задавать и по каждой роли отдельно: в конструкторе Mai собирает команду из 19 ролей, и каждая приходит с готовыми правилами, которые вы поправляете, а не пишете с нуля.
Границы, которые держатся при любых настройках
Часть вещей не является настройкой, и это сделано намеренно. В любом решении SVI агенты отвечают только по данным самой компании и не придумывают ни цен, ни свободных окон в расписании. Они не дают скидку, которую владелец не одобрил, и не раскрывают данные одного клиента другому. Бронь остаётся заявкой, пока её не подтвердил человек. Когда агент не уверен, он спрашивает или передаёт разговор человеку с коротким изложением.
Ещё одну границу стоит произнести вслух, потому что она всплывает в отчётах: агент не выдаёт себя за человека и не отрицает, что он ИИ-помощник, если клиент спросит прямо. Он может говорить совершенно естественно и при этом быть честным о том, кто он, и клиентов это волнует куда меньше, чем боятся владельцы.
Что нужно, чтобы начать тест
Меньше, чем для внедрения программы. Для старта хватит одного канала, например Instagram Direct. Одного сценария: того, который съедает больше всего времени у ваших людей. И от 30 до 50 реальных переписок, по которым можно сверить ответы, а они почти у каждого бизнеса уже лежат в истории чатов.
Полезно ещё за неделю до запуска записать собственную отправную точку, ничего не меняя: как быстро вы отвечаете сейчас, сколько сообщений приходит в нерабочее время, сколько разговоров заканчивается тем, что никто не ответил. Без этих цифр сравнение после запуска превращается в спор о впечатлениях. На странице ИИ-администратора видно, как выглядит такой стартовый набор для спа, салона, отеля или клиники.
Поговорите с агентом, который это уже прошёл
Если вам ближе увидеть результат, чем читать про метод: Andaman Lotus Spa это выдуманная демо-компания, за которой стоит настоящий рабочий агент. Спросите цену, забронируйте процедуру на вечер субботы, передумайте, смените язык посреди разговора, попробуйте выдавить из него обещание, которого он давать не должен. Ровно таким прощупыванием теневой тест и занимается за вас, в масштабе и на ваших клиентах.
С чего начать
Откройте конструктор агентов, чтобы увидеть, какие роли нужны вашей команде, и задать им правила своими словами, или начните с разговора с Mai: расскажите про своё дело, а она соберёт решение и вместе с вами запустит тестовый режим. Установка и тест за наш счёт, так что первое, что вам предложат оценить, это работа агента на ваших собственных сообщениях.