Jeder Inhaber, der über einen KI-Agenten nachdenkt, stellt dieselbe Frage, und es ist die richtige: Was, wenn er meinem Kunden etwas Falsches schreibt? Nicht in der Theorie, nicht einem Tester, sondern genau dem Kunden, der seit Jahren zu Ihnen kommt und jetzt eine Antwort mit dem falschen Preis liest.
Diese Frage lässt sich beantworten, ohne ein einziges Gespräch zu riskieren. Das Verfahren heißt Schattentest, oder Testmodus: Der Agent arbeitet mit Ihren echten eingehenden Nachrichten, und die Antworten gehen an Sie statt an den Kunden. Dieser Beitrag erklärt, wie so ein Test abläuft, worauf im Bericht zu achten ist und wie Sie ändern, was Ihnen nicht gefällt.
Was ein Schattentest ist
Ein Schattentest ist eine Zeit, in der der Agent vollständig angebunden und voll im Einsatz ist, nach außen aber still bleibt. Echte Nachrichten kommen über Ihre Kanäle an. Der Agent liest sie, schaut in Ihren Daten nach, schreibt die Antwort, die er senden würde, und hält dort an. Die Antwort wird für Sie aufgezeichnet. Der Kunde bekommt vom Agenten nichts und spricht weiter mit Ihrem Team, genau wie vorher.
Damit unterscheidet er sich von den zwei Dingen, mit denen er oft verwechselt wird. Eine Demo zeigt einen vorbereiteten Dialog des Anbieters. Eine Sandbox lässt Sie selbst Testfragen eingeben. Ein Schattentest nutzt die Fragen, die Ihre Kunden wirklich stellen, in den Worten, die sie wirklich benutzen, einschließlich der unordentlichen Nachricht um ein Uhr nachts mit drei Fragen in einer Zeile.
Warum eine Demo weniger beweist, als man denkt
Vorgefertigte Demos scheitern in jeder Branche am selben Punkt: echte Kunden fragen nicht so, wie das Skript es erwartet. Sie fragen nach einem Preis für etwas, das nicht auf der Liste steht. Sie überlegen es sich mitten im Gespräch anders. Sie schreiben in einer Sprache, mit der niemand gerechnet hat. Sie bitten um einen Rabatt, weil sie letztes Jahr bei Ihnen waren.
Genau diese Fälle entscheiden, ob ein KI-Agent für Ihr Geschäft nützlich ist, und keiner davon kommt in einer Demo vor. Sie stehen in Ihrem eigenen Posteingang, deshalb muss der Test dort laufen.
Die drei Schritte: Installation, Testmodus, Start
Bei SVI geht jedes Agententeam auf dieselbe Art live, in dieser Reihenfolge:
- Installation. Die Lösung oder das Team wird in Ihrem Konto eingerichtet, Ihre Kanäle werden angebunden: Chat auf der Website, Telegram, WhatsApp, Instagram, E-Mail. Dieser Schritt geht auf unsere Kosten.
- Testmodus, der Schattentest. Die Agenten beantworten Ihre echten Nachrichten, Ihre Kunden sehen die Antworten nicht, und Sie sehen jede einzelne davon plus einen Bericht. Auch dieser Schritt geht auf unsere Kosten.
- Start. Wenn die Antworten so aussehen wie die, die Sie selbst geben würden, schalten Sie die Agenten ein, und sie beginnen, mit Kunden zu sprechen. Die Bezahlung beginnt erst hier.
Die Reihenfolge ist wichtiger, als sie aussieht. Weil die Bezahlung erst beim Start beginnt, muss niemand darüber streiten, ob der Agent abstrakt gut genug ist: Sie lesen zuerst seine Arbeit an Ihren eigenen Gesprächen und entscheiden danach. Dieselben drei Schritte gelten für eine fertige Lösung ebenso wie für ein Team, das Sie selbst im Agenten-Baukasten zusammenstellen.
Was im Testbericht zu lesen ist
Ein Test ist nur so gut wie das, was Sie darin prüfen. Jede einzelne Antwort zu lesen ist in den ersten Tagen möglich und danach sinnlos; besser ist es, mit ein paar konkreten Fragen im Kopf zu lesen.
- Die Fakten. Suchen Sie die Antworten mit einem Preis, einem Datum, einer Adresse oder einer Bedingung heraus und vergleichen Sie sie mit Ihren eigenen Daten. Hier zeigt sich eine schwache Einrichtung am schnellsten.
- Die Übergaben. Schauen Sie, wo der Agent entschieden hat, das Gespräch an eine Person weiterzugeben. Zu selten ist ein Risiko, viel zu oft bedeutet, dass ihm Daten fehlen, die er haben sollte.
- Die Absagen. Finden Sie die Stellen, an denen der Agent sagte, er wisse es nicht. Jede davon ist eine Lücke in dem, was Sie ihm gegeben haben, und meist günstig zu schließen.
- Der Ton. Lesen Sie drei oder vier Antworten laut vor. Klingt das nach Ihrem Geschäft oder nach einem Callcenter in einem anderen Land?
- Die aufgenommenen Anfragen. Eine Buchung oder Bestellung sollte vollständig ankommen: was, wann, wer, wie zu erreichen. Eine halbe Anfrage ist Arbeit für Ihr Team, keine Entlastung.
- Die schwierigen Fälle. Beschwerden, Gruppenbuchungen, ungewöhnliche Wünsche, Leute, die nach Ihrem Chef fragen. Hier wollen Sie sehen, dass der Agent zur Seite tritt, nicht improvisiert.
Was Sie in einem Bericht nicht finden, ist eine Note. Der Test sagt Ihnen nicht, ob Sie starten sollen; er zeigt, was gesagt worden wäre, und die Entscheidung bleibt bei Ihnen.
Was Sie ändern können, und wie
Was Inhaber am wenigsten erwarten: Eine Antwort zu ändern, die ihnen nicht gefallen hat, ist keine Entwickleraufgabe. Sie beschreiben die Änderung in einfachen Worten, so wie Sie es einem neuen Mitarbeiter erklären würden, und die Regel ändert sich. Kein Code, kein Ticket, kein Release.
- Eine falsche Antwort. Geben Sie dem Agenten die fehlenden Daten: die richtige Preisliste, die echten Öffnungszeiten, die Bedingung, die er nicht kannte.
- Eine Antwort, die zu weit ging. Sagen Sie, wo die Grenze liegt: nie ein Datum ohne Bestätigung versprechen, nie über andere Kunden sprechen, nie einen Rabatt genehmigen.
- Zu viele oder zu wenige Übergaben. Nennen Sie die Fälle, die eine Person sehen muss, und lassen Sie den Agenten den Rest abschließen.
- Der falsche Ton. Beschreiben Sie, wie Sie klingen möchten: kürzer, wärmer, förmlicher, mit der Begrüßung, die Sie immer verwenden.
Danach schauen Sie sich die nächsten Tage an Nachrichten an und sehen, ob die Änderung hält. Mehrere solche Runden sind normal, und genau sie machen aus einem allgemeinen Assistenten einen Agenten, der auf Ihre Art arbeitet. Regeln lassen sich auch Rolle für Rolle im Baukasten setzen, wo Mai ein Team aus 19 Rollen zusammenstellt, jede davon mit fertigen Regeln, die Sie anpassen, statt sie von Null zu schreiben.
Die Grenzen, die bei jeder Einstellung bestehen bleiben
Manche Dinge sind keine Einstellung, und das ist Absicht. In jeder SVI-Lösung antworten die Agenten nur aus den eigenen Daten des Geschäfts und erfinden weder Preise noch freie Termine. Sie geben nie einen Rabatt, den der Inhaber nicht genehmigt hat, und zeigen nie die Daten eines Kunden einem anderen. Eine Buchung bleibt eine Anfrage, bis eine Person sie bestätigt. Ist der Agent unsicher, fragt er nach oder gibt das Gespräch mit einer kurzen Zusammenfassung an eine Person weiter.
Eine weitere Grenze ist es wert, laut genannt zu werden, weil sie in den Testberichten auftaucht: Der Agent gibt sich nicht als Mensch aus und bestreitet nicht, ein KI-Assistent zu sein, wenn ein Kunde direkt fragt. Er kann völlig natürlich wirken und trotzdem ehrlich darüber sein, was er ist, und das kümmert die Kunden meist viel weniger, als Inhaber fürchten.
Was Sie brauchen, um einen Test zu starten
Weniger, als Sie für ein Softwareprojekt brauchen würden. Ein Kanal reicht zum Start, zum Beispiel Instagram Direct. Ein Szenario, das, was den meisten der Zeit Ihres Teams frisst. Und 30 bis 50 echte Gespräche, mit denen Sie die Antworten vergleichen können, und die fast jedes Geschäft bereits im Chatverlauf hat.
Es hilft außerdem, eine Woche vor dem Start Ihre eigene Ausgangslage aufzuschreiben, ohne etwas zu ändern: wie schnell Sie heute antworten, wie viele Nachrichten außerhalb der Öffnungszeiten eingehen, wie viele Gespräche enden, ohne dass jemand antwortet. Ohne diese Zahlen wird der Vergleich nach dem Start zu einem Streit über Eindrücke. Die Seite KI-Empfang zeigt, wie ein solches Ausgangsset für ein Spa, einen Salon, ein Hotel oder eine Klinik aussieht.
Sprechen Sie mit einem Agenten, der das schon durchlaufen hat
Wenn Ihnen das Ergebnis lieber ist als die Beschreibung der Methode: Andaman Lotus Spa ist eine erfundene Demo-Firma mit einem echten, funktionierenden Agenten dahinter. Fragen Sie nach einem Preis, buchen Sie eine Behandlung für Samstagabend, überlegen Sie es sich anders, wechseln Sie mitten im Gespräch die Sprache, versuchen Sie, ihm ein Versprechen abzuringen, das er nicht geben sollte. Genau dieses Prüfen übernimmt ein Schattentest für Sie, im großen Maßstab, mit Ihren eigenen Kunden.
Wie Sie anfangen
Öffnen Sie den Agenten-Baukasten, um zu sehen, welche Rollen Ihr Team braucht, und legen Sie deren Regeln in eigenen Worten fest, oder beginnen Sie mit einem Gespräch mit Mai: Beschreiben Sie Ihr Geschäft, und sie richtet die Lösung ein und startet mit Ihnen den Testmodus. Installation und Test gehen auf unsere Kosten, also wird als Erstes die Arbeit des Agenten an Ihren eigenen Nachrichten beurteilt.