Wenn du wingmaite eine Frage stellst, ist eine gute Antwort kein Glückstreffer. Sie ist das Ergebnis einer Reihe bewusster Entscheidungen darüber, wie das System aufgebaut ist.
Eine Chatbox zu bauen ist einfach. Schwierig wird es erst, wenn es darum geht, dass bei der tatsächlichen Nutzung auch gute Antworten rauskommen. Eine Antwort kann flüssig und selbstsicher klingen und trotzdem vage, am Thema vorbei oder schlichtweg falsch sein. Das fällt aber meistens erst auf, wenn es zu spät ist.
Der Großteil dessen, was eine Antwort verlässlich macht, passiert hinterm Vorhang. Unsere Prompt Engineer Dionysia Saratsli gibt dir hier einen Einblick, wie wir bei wingmaite dafür sorgen, dass unsere Nutzer:innen qualitativ hochwertige Antworten bekommen.
Wir testen unsere Agenten konsequent, statt sie einfach live zu schalten
Wir setzen unseren Nutzer:innen nicht auf gut Glück einen Agenten vor und hoffen dann aufs Beste. Jeder Agent muss sich in unserem Evaluations-Framework an Testfällen und Szenarien beweisen. Das Framework prüft, ob eine Antwort unseren Qualitätsanspruch erfüllt.
Wie sieht ein Testfall bei wingmaite aus?
Ein Testfall ist im Grunde eine realistische Situation, kombiniert mit einer klaren Vorstellung davon, wie eine gute Antwort darauf aussieht:
- Hat der Agent die Frage wirklich beantwortet?
- Ist er bei dem geblieben, was er weiß, statt sich etwas auszudenken?
- Hat er nach dem einen fehlenden Detail gefragt oder ist er drauflos geraten?
Einige Antworten lassen sich sehr klar als bestanden oder durchgefallen bewerten. Andere brauchen mehr Fingerspitzengefühl. Dafür setzen wir ein Modell ein, das uns beim Bewerten in großem Maßstab hilft. Damit dieses Modell nicht alles durch winkt, gleichen wir seine Bewertungen aber mit unseren eigenen ab.
Wir vertrauen KI nicht blind
KI mit KI zu bewerten funktioniert nur, indem man ehrlich bleibt. Und das heißt: nicht blind vertrauen.
Der Sinn dahinter: Wir können etwas verändern und wissen, ob es gewirkt hat. Wenn wir einen Prompt oder einen Ablauf anpassen, sehen wir, ob die Antworten tatsächlich besser geworden sind, statt es nur anzunehmen. Der Prozess fängt auch Regressionen ab.
Das heißt: Wenn eine Änderung einen Ablauf verbessert, aber gleichzeitig einen anderen kaputt macht, bemerken wir das rechtzeitig. Was die Tests aufdecken, fließt direkt in die nächste Iteration ein. So werden die Agents kontinuierlich besser, statt mit der Zeit abzudriften.
Spezialisierte Agenten statt Allzweck-Assistent
Viele KI-Tools schicken alles durch einen einzigen, breit aufgestellten Assistenten. Das hilft, die Komplexität zu reduzieren. Das Problem daran: Je mehr Aufgaben einem Agenten aufgeladen werde, desto länger und überfrachteter werden seine Anweisungen.
Sobald alles in einem einzigen Prompt lebt, kann das Feintuning einer Funktion schnell den Rest aus dem Gleichgewicht bringen.
Aktuell haben wir für jede der zwei Hauptaufgaben von wingmaite einen eigenen Agenten gebaut:
- eine Frage zu bereits vorhandenen Aufzeichnungen stellen
- das Wissen aus den Köpfen holen
Der eine Agent muss direkt antworten und nah an der Quelle bleiben. Der andere hat eine ganz andere Aufgabe: Er muss mit den richtigen Fragen verstecktes Wissen aus den Nutzer:innen heraus kitzeln.
Getrennte Agenten erhöhen die Antwortqualität und vereinfacht die Evaluation
Wenn wir sie trennen, können wir jeden Agenten um seine eigene Aufgabe herum designen, statt beides in einem einzigen Prompt gegeneinander abwägen zu müssen. Das heißt konkret: Wir können feinjustieren, wie jeder Agent seinen Teil des Gesprächs handhabt. wingmaite fragt dich also genau nach dem nötigen Detail, ohne aus einer simplen Anfrage ein Verhör zu machen oder dich falsch zu verstehen.
Die Aufteilung zahlt sich auch für unser Evaluations-System aus: Ein Agent mit einer klaren Aufgabe lässt sich leichter messen. Denn so können wir festlegen, wie ein gutes Ergebnis aussieht – und Tests genau darauf ausrichten.
Wie eine Antwort klingt, ist genauso wichtig wie ob sie stimmt
Richtig zu liegen ist nur ein Aspekt. Eine Antwort muss aber auch gut lesbar sein: klar und in natürlichem Ton. Eine inhaltlich korrekte Antwort, die verworren oder umständlich rüberkommt, kann Nutzer:innen trotzdem ratlos zurücklassen oder ihnen die Lust nehmen, das Gespräch noch weiter fortzuführen. Außerdem muss ein Tool ehrlich zugeben können, wenn für die Antwort Infos fehlen.
Hier hängt viel davon ab, wie der Agent mit den Nutzer:innen spricht. Ein Arbeitswerkzeug sollte der Sprache entsprechen, in der Menschen tatsächlich über ihre Aufgabe reden. Also weder ein lebloses Handbuch noch ein übereifriger Chatbot. Der Ton entscheidet mit, ob jemand einer Antwort genug vertraut.
Die Grice'schen Konversationsmaximen als Grundlage für Antworten
Dieser Gedanke ist an sich nichts Neues. Der Philosoph Paul Grice hat schon vor Jahrzehnten beschrieben, was ein Gespräch zwischen Menschen kooperativ wirken lässt: die Wahrheit sagen – so viel wie nötig und nicht mehr, beim Thema bleiben, und klar sein.
Und das scheint tatsächlich auch für einen Agenten eine gute Grundlage zu sein. Der Wahrheitsteil zählt am meisten, wenn ein Agent unsicher ist. Uns ist lieber, wingmaite sagt dir offen, dass es etwas nicht kann, als dass es dir eine selbstsichere, aber falsche Antwort in die Hand drückt.
Kürze und Relevanz sind genauso wichtig. Menschen merken meistens, wenn eine Antwort mit Füllwörtern gespickt ist oder sich zu sehr bemüht, freundlich zu wirken. Das kann nervig sein und im Zweifel sogar kontraproduktiv wirken. Eine gute Antwort bleibt bei dem, was gefragt wurde. Und wenn sie doch nachfragt, dann mit einer Frage, die zu dir passt und zu dem, woran du gerade arbeitest.
Wie eine Antwort klingt, wird gerne übersehen. Aber genau darauf legen wir bei wingmaite Wert und daran arbeiten wir. Denn wingmaite soll sich für dich anfühlen wie ein:e Kolleg:in mit Fachwissen.
Ein starkes Modell bildet die Basis
Das alles baut auf führenden Sprachmodellen auf. Dieselbe Klasse, die auch hinter den besten KI-Assistenten am Markt steht. Sie geben uns ein solides Fundament. Aber ein starkes Modell allein garantiert noch keine gute Antwort. Dasselbe Modell kann exzellente oder mittelmäßige Antworten liefern – je nachdem, wie es instruiert wird, was es sehen darf und wie das Gespräch drumherum gestaltet ist.
Erst die Evaluation, die spezialisierten Agents und die an unseren Nutzer:innen ausgerichteten Instruktionen erlauben es einem fähigen Modell, verlässliche Antworten zu liefern.
Fazit: Gesprächsqualität wird bei wingmaite systematisch gesichert
Bei wingmaite haben wir vier Hebel für die Gesprächsqualität: Wir testen jeden Agent gegen einen klaren Maßstab. Wir übergeben jede Aufgabe an einen Agent, der genau dafür gebaut ist. Wir schreiben sorgfältige Instruktionen, die prägen, wie jeder Agent spricht. Und wir bauen das Ganze auf führenden Sprachmodellen.
Jedes neue Feature in wingmaite durchläuft denselben Kreislauf: Qualitäts-Maßstab setzen – den Agent dagegen testen – herausfinden, wo er schwächelt – nachschärfen. Sobald sich Modelle weiterentwickeln und Nutzer:innen wingmaite auf neuen Wegen einsetzen, geht das Ganze von vorne los.