指南

影子测试:上线前如何用真实消息检查AI客服

影子测试如何运作:AI客服回答你的真实消息,客户什么都看不到,你读到每一条回复,并用自己的话调整规则。

每一位考虑使用AI客服的老板都会问同一个问题,而且问得没错:如果它给我的客户发了一句蠢话怎么办?不是在理论上,不是对着测试人员,而是对着那个已经跟了你多年、此刻正读到一个报错价格的客户。

有一种方法可以回答这个问题,而且不冒任何一次对话的风险。它叫影子测试,也叫测试模式:客服处理你真实收到的消息,回复发给你,而不是发给客户。这篇文章会说明这种测试怎么运行,报告里要看什么,以及怎么改掉你不喜欢的地方。

什么是影子测试

影子测试是这样一段时间:客服完全接入、完全运转,但对外保持沉默。真实消息从你的渠道进来。客服读取消息,查你的数据,写出它本来会发的回复,然后就停在那里。回复会被记录下来给你看。客户从客服那边什么也收不到,依旧像以前一样和你的团队对话。

这让它和另外两种常被混淆的东西区分开来。演示展示的是供应商准备好的对话。沙盒让你自己输入测试问题。影子测试用的是你的客户真正会问的问题,用他们真正会用的措辞,包括凌晨一点那种一行里塞了三个问题的乱发消息。

为什么演示证明的比你想的要少

脚本化的演示在每个行业都栽在同一件事上:真实客户问问题的方式和脚本预设的不一样。他们会问一个不在价目表上的东西的价格。他们会在中途改变主意。他们会用一种没人预料到的语言写消息。他们会因为去年来过而要求打折。

正是这些情况决定了AI客服对你的生意有没有用,而它们一个都不会出现在演示里。它们出现在你自己的收件箱里,这也是测试必须在那里进行的原因。

三个步骤:安装、测试模式、上线

在SVI,每个客服团队都按同样的方式、同样的顺序上线:

  1. 安装。把解决方案或团队加到你的账户,连接好你的渠道:网站聊天、Telegram、WhatsApp、Instagram、邮箱。这一步由我们承担费用。
  2. 测试模式,也就是影子测试。客服回答你的真实消息,客户看不到这些回复,而你能看到每一条,还会收到一份报告。这一步也由我们承担费用。
  3. 上线。当回复看起来和你自己会给出的答案差不多时,你就打开客服,让它们开始和客户对话。付费从这里才开始。

顺序比看起来更重要。因为付费从上线才开始,没有人需要在抽象层面争论客服够不够好:你先看它在你自己的对话上做得怎样,然后再决定。同样的三个步骤既适用于现成方案,也适用于你在客服构建器里自己组建的团队。

测试报告里要看什么

一次测试的好坏,取决于你在里面检查了什么。前几天把每条回复都读一遍是可行的,之后就没意义了,更好的做法是带着几个具体问题去读。

  • 事实。挑出包含价格、日期、地址或条件的回复,拿去和你自己的数据对比。配置弱的地方在这里最先露出来。
  • 转人工。看看客服在哪里决定把对话转给人工。太少是风险,太多说明它缺少本该有的数据。
  • 拒答。找出客服说自己不知道的地方。每一处都是你给它的信息里的一个缺口,而且通常不难补上。
  • 语气。大声读出三四条回复。这听起来像你的生意,还是像别的国家的呼叫中心?
  • 收集到的需求。一个预订或订单到手时应该是完整的:什么、什么时候、谁、怎么联系。只收到一半的需求,是给你团队增加的工作,不是解放。
  • 难处理的情况。投诉、团体预订、不寻常的要求、要求找你老板的人。这些情况下你想看到客服主动退到一边,而不是临场发挥。

你在报告里找不到的是一个分数。测试不会告诉你该不该上线,它只展示本来会说出的话,决定权始终在你手里。

需要调整什么,怎么调整

老板们最没想到的一点是:改掉一句你不喜欢的回复,不是一个开发任务。你用简单的话描述想要的改动,就像教一个新员工那样,规则就会跟着改。不用写代码,不用提工单,不用发版。

  • 答错了。把缺的数据给客服:正确的价目表、真实的营业时间、它不知道的那条条件。
  • 答得太过了。说清楚界限在哪里:不在未确认前许诺日期,不谈其他客户的事,不自行批准折扣。
  • 转人工太多或太少。指明哪些情况必须由人来处理,剩下的交给客服收尾。
  • 语气不对。描述你想要的感觉:更简短、更温和、更正式,用你一直在用的那句问候语。

之后你再看接下来几天的消息,看这个改动有没有保持住。这样来回几轮是正常的,正是这个过程把一个通用助理变成一个按你的方式工作的客服。规则也可以在构建器里按角色单独设置,Mai在那里用19个角色组建团队,每个角色都带着现成的规则,你只需要调整,不用从零写。

无论怎么配置都不会变的边界

有些东西不是可配置项,这是故意的。在所有SVI方案里,客服只根据这家生意自己的数据回答,不会编造价格或空闲时段。它们不会给出老板没批准的折扣,也不会把一个客户的信息透露给另一个。预订在被人确认之前,始终只是一个请求。客服不确定时,会主动询问,或者带着一段简短总结把对话转给人。

还有一条边界值得说清楚,因为它会出现在测试报告里:客户直接问起时,客服不会假装成人类,也不会否认自己是AI助手。它可以表现得非常自然,同时在身份上保持诚实,而客户在意这件事的程度,远比老板们担心的要低。

开始测试需要什么

比上一套软件项目要简单得多。开始只需要一个渠道,比如Instagram Direct。一个场景,占用你团队最多时间的那一个。再加上30到50段真实对话用来核对回复,几乎每家生意的聊天记录里都已经有这些。

上线前一周把自己的基线记下来也会有帮助,期间什么都不改:现在回复有多快,有多少消息是在营业时间之外进来的,有多少对话最后没人回复。没有这些数字,上线后的对比就会变成一场关于印象的争论。AI前台页面展示了水疗中心、美容院、酒店或诊所的这类起始数据长什么样。

和已经经历过这一切的客服聊聊

如果你更想看结果而不是读方法:Andaman Lotus Spa是一家虚构的演示公司,背后是一个真正在运行的客服。问问价格,预订一个周六晚上的疗程,改变主意,对话中途换一种语言,试着逼它许下它不该许下的承诺。影子测试做的正是这种探测,只是规模更大,对象是你自己的客户。

如何开始

打开客服构建器,看看你的团队需要哪些角色,并用自己的话给它们设定规则,或者从和Mai聊聊开始:说说你的生意,她会帮你搭好方案,和你一起开始测试模式。安装和测试都由我们承担费用,所以你要评判的第一件事,就是客服在你自己的消息上做得怎样。

在您自己的业务上看看效果

跟 Mai 讲讲您的业务。她会组建团队,并在您付费之前,用您真实的消息完成测试。

延伸阅读