Ein KI-Agent, der geschickt agiert, ist nicht dasselbe wie ein Agent, der die Materie versteht. Bevor Sie einen Agenten bei einem Kunden in regulierten Branchen einsetzen, müssen Sie nachweisen, dass er die Feinheiten des Fachgebiets versteht und nicht nur dessen Form nachahmt. In diesem Artikel erläutere ich, wie wir bei Blinqx diesen Test gestalten, mit konkreten Schritten, die Sie selbst ebenfalls anwenden können.
- Ein stimmendes Ergebnis muss nicht immer richtig sein
- Welche Testmethode zeigt, ob ein Mitarbeiter die Nuancen versteht?
- Wie erstellt man einen Testdatensatz für Fachwissen pro Branche?
- Wann ist ein Agent bereit für den Einsatz beim Kunden?
- Was tun Sie, wenn der Agent den Test nicht besteht?
- Häufig gestellte Fragen
Ein korrektes Ergebnis muss nicht immer richtig sein
Ein Agent kann eine Antwort liefern, die korrekt erscheint, und dennoch danebenliegen, sobald sich der Kontext ändert. Dies geschieht vor allem in nicht standardisierten Situationen: eine Versicherungsklausel mit einer Ausnahme, ein Urteil, das eine frühere Regelung nuanciert, eine Steuererklärung mit einer geringfügig abweichenden steuerlichen Situation. Generische Sprachmodelle beziehen ihr Wissen aus umfangreichen Trainingsdaten und kennen daher oft nicht den aktuellen Stand der Branchenvorschriften sowie die spezifischen Arbeitsabläufe einer Kanzlei.
Welche Testmethode zeigt, ob ein Berater die Nuancen versteht?
Bei Blinqx erstellen wir diese Testreihen gemeinsam mit den Fachexperten des Kunden: Juristen, Wirtschaftsprüfer oder Hypothekenberater, die Grenzfälle aus ihrer eigenen Praxis einbringen. Das Ergebnis ist eine Testreihe, die nicht allgemein gehalten ist, sondern genau auf die Probleme in der Praxis zugeschnitten ist. Nicht die Frage „Kann der Makler einen Vertrag zusammenfassen?“, sondern „Erkennt der Makler, dass Klausel 4.2 eine Ausnahme zu Klausel 2.1 darstellt, und wendet er dies auf einen neuen Vertrag an?“
Wie erstellt man einen Testsatz für Fachwissen pro Branche?
1 Sammeln Sie zunächst die Fälle, in denen Nachwuchskräfte häufiger Fehler machen als erfahrene Mitarbeiter. Das sind per Definition die Bereiche, in denen Fachwissen den Ausschlag gibt.
2 Wandeln Sie diese Fälle in Szenarien mit einer eindeutig richtigen und einer falschen Antwortum und lassen Sie den Mitarbeiter diese nacheinander durchgehen. In Branchen wie der Versicherungs- und Hypothekenbranche funktioniert dies etwas anders als in der Wirtschaftsprüfung: Bei der Hypothekenberatung prüfen Sie vor allem Vorschriften, die je nach Kundenprofil variieren, während Sie in der Wirtschaftsprüfung häufiger die Auslegung steuerlicher Grenzfälle testen. Die Testmethode bleibt dieselbe, die Fallbeispiele jedoch nicht.
3 Dokumentieren Sie darüber hinaus nicht nur, ob der Mitarbeiter die richtige Antwort gibt, sondern auch, ob er seine Argumentation darlegen kann. Eine richtige Antwort ohne nachvollziehbare Argumentation ist in einer regulierten Branche unzureichend, da eine Aufsichtsbehörde oder ein Auditor später nachvollziehen können muss, wie der Mitarbeiter zu seiner Schlussfolgerung gelangt ist.
4. Wiederholen Sie Ihre Tests. Das Testen von Fachwissen ist keine einmalige Überprüfung vor der Inbetriebnahme. Branchenvorschriften ändern sich, Kundenfälle entwickeln sich weiter, und ein Mitarbeiter, der heute die Prüfung besteht, könnte in einem halben Jahr auf eine neue Ausnahme stoßen, die noch nicht im Testsatz enthalten war. Erstellen Sie den Testsatz daher als lebendiges Dokument und nicht als Checkliste.
Wann ist ein Agent bereit für die Einführung bei einem Kunden?
Ein Agent ist bereit, sobald er
- das Testset mit den nicht standardmäßigen Fällen durchweg erfolgreich durchläuft,
- und weiß, wann er eine Frage an einen Menschen weiterleiten muss, anstatt selbst zu raten.
Diesen letzten Punkt unterschätzen Plattformentwickler häufig: Ein Agent, der rechtzeitig sagt „Ich bin mir nicht sicher“, ist wertvoller als ein Agent, der stets eine Antwort gibt.
Deshalb bauen wir diese Unsicherheitsschwelle bewusst ein: Unterhalb einer bestimmten Sicherheitsschwelle leitet der Agent den Fall automatisch an einen Menschen weiter, zusammen mit dem Fallbeispiel und der bis dahin aufgebauten Argumentation. Dies verhindert, dass sich ein Agent in Bereiche begibt, in denen er die Feinheiten noch nicht nachweislich beherrscht.
Diesen Schwellenwert legen Sie nicht einmalig fest: Je länger ein Agent im Einsatz ist und je mehr Fälle er erfolgreich bearbeitet, desto mehr können Sie den Schwellenwert vorsichtig anpassen, sofern Sie dies anhand der Testergebnisse begründen. Umgekehrt gilt dasselbe: Sobald ein Bereich eine neue Regel einführt, senken Sie den Schwellenwert vorübergehend, bis der Mitarbeiter auf diese neuen Fälle getestet wurde.
Was tun Sie, wenn der Mitarbeiter den Test nicht besteht?
Analysieren Sie, bei welcher Art von Fall der Fehler auftritt: Handelt es sich um eine Wissenslücke (dem Agenten fehlen Informationen), einen Denkfehler (der Agent verfügt über die Informationen, zieht jedoch die falsche Schlussfolgerung) oder ein Problem mit dem Untersuchungsumfang (der Agent hätte die Frage weiterverfolgen müssen)? Jede dieser drei Ursachen erfordert eine andere Lösung: mehr Trainingsdaten, einen strenger abgegrenzten Anwendungsbereich oder eine niedrigere Eskalationsschwelle. Je nachdem beginnen Sie erneut mit dem Sammeln, Übersetzen oder Dokumentieren.
Wir besprechen solche Fälle auch in „Tech TalQX“, dem Podcast über KI in regulierten Branchen.
Häufig gestellte Fragen
Ein Sprachtest prüft, ob der Agent flüssig und verständlich schreibt. Ein Fachwissenstest prüft, ob der Agent die fachlichen Nuancen einer Branche korrekt anwendet, einschließlich Ausnahmen und Grenzfällen. Ein Agent kann einen Sprachtest mit Bravour bestehen und dennoch beim Fachwissen durchfallen.
Es gibt keine festgelegte Zahl; konzentrieren Sie sich jedoch lieber darauf, die bekannten Grenzfälle abzudecken, anstatt sich auf eine bestimmte Anzahl zu legen. Beginnen Sie mit den Fällen, bei denen Nachwuchskräfte häufiger Fehler machen, und erweitern Sie den Umfang, sobald Sie in der Praxis auf neue Grenzfälle stoßen.
Beides, in Zusammenarbeit. Der Plattformentwickler stellt die Testmethode und die Struktur bereit, der Fachexperte beim Kunden liefert die Fallbeispiele aus der eigenen Praxis. Ohne diesen Praxisbezug prüfen Sie vor allem allgemeines Wissen und nicht die spezifische Situation der Kanzlei.
Ja, vorausgesetzt, Sie integrieren eine Rückkopplungsschleife, über die Fehler aus der Praxis in den Testdatensatz zurückgemeldet werden. Ohne diese Schleife bleibt ein Agent auf dem Wissensstand der letzten Trainingsrunde stehen, während sich Branchenvorschriften und Rechtsprechung ständig ändern.
Das größte Risiko besteht darin, dass ein Agent in einem Grenzfall selbstbewusst eine falsche Antwort gibt, ohne dass dies jemand bemerkt, bis der Kunde darunter leidet. In regulierten Branchen kann dies zu einer falschen Beratung mit finanziellen oder rechtlichen Folgen führen, und das untergräbt das Vertrauen in KI-Agenten viel schneller als ein Agent, der rechtzeitig zugibt, dass er sich nicht sicher ist.
