Die Qualität der KI-Copilot-Vorschläge bewertest du anhand des vorgeschlagenen Texts, nicht nur danach, ob ein Mitarbeiter ihn versendet hat. Ein abgelehnter Entwurf kann richtige Fakten enthalten; eine nach großer Korrektur versandte Antwort belegt keinen guten ursprünglichen Vorschlag. Hier erstellst du eine Bewertungsvorlage und einen gemeinsamen Prüfmaßstab. Die tägliche manuelle Freigabe bleibt ein eigener Arbeitsschritt.
Was bewertest du an einem Copilot-Vorschlag?
Die Bewertungseinheit ist ein Entwurf zur konkreten Kundennachricht mit dem bei seiner Erstellung verfügbaren Wissen. Bewahre den Text vor der Bearbeitung auf und ordne die Mitarbeiterkorrektur ein. Wer nur die endgültige Antwort bewertet, schreibt Copilot die Arbeit des Menschen zu.
Berücksichtige den Zeitpunkt der Entwurfserstellung. Ergänzt der Kunde später eine wichtige Angabe, bewertest du den früheren Text nicht so, als wäre sie bereits bekannt gewesen. Halte beide Zeitpunkte fest und trenne veraltete Vorschläge von ursprünglichen Fehlern. So erkennst du, ob die Antwortqualität betroffen ist oder die Verwendung von Entwürfen in einem schnell wechselnden Gespräch.
Den vorgesehenen Umfang erklärt KI im Kundenservice; bewertet wird menschliche Unterstützung und keine selbstständige Entscheidung.
Was du vor der Änderung vorbereitest
Sammle verschiedene Anliegen statt nur leichter FAQs: Leistungsumfang, Ausnahme, unklarer Kontext und fehlendes Wissen. Entferne persönliche Angaben aus dem Prüfmaterial. Ergänze Quelle und erforderliche Fakten, damit der Prüfer nicht allein aus seiner Erinnerung urteilt.
- Die Stichprobe enthält den unbearbeiteten Entwurf und die passende Kundennachricht.
- Der Eintrag nennt aktive Quelle und den zur Klärung benötigten Fakt.
- Fälle ohne Vorschlag werden separat ohne erfundene Stilbewertung dokumentiert.
- Korrekturen sind als Fakt, Bedingung, Umfang, Form oder Ton eingeordnet.
Baue die Stichprobe nach Anliegen und möglicher Fehlerfolge auf. Öffnungszeiten und die Zusage einer Zahlungsrückabwicklung gehören nicht ohne Unterscheidung in dieselbe Gruppe. Bewahre auch Entwürfe mit kleinen Stiländerungen auf: Sie zeigen Mitarbeiterpräferenzen im Gegensatz zu Änderungen der Bedeutung. Speichere keine vollständigen privaten Gespräche, wenn ein neutraler Ausschnitt für die Bewertung genügt.
Ein Ablauf für dein Team
Nutze fünf Kriterien und eine einfache Skala: erfüllt, teilweise erfüllt oder nicht erfüllt. Verzichte anfangs auf Gewichte und einen Gesamtwert. Zwei Entwürfe mit ähnlichem Durchschnitt können völlig unterschiedliche Risiken haben: Einer ist zu lang, der andere verspricht eine nicht verfügbare Erstattung.
- Richtige Fakten.Prüfe Preis, Frist, Name und Bedingung anhand der freigegebenen Quelle. Ein falscher Fakt ist unabhängig vom Stil nicht erfüllt.
- Vollständigkeit.Vergleiche den Entwurf mit dem Anliegen. Eine nötige Bedingung oder ein Teil einer Doppelfrage darf nicht fehlen.
- Passender Kontext.Prüfe Leistung und Gesprächsphase. Eine Antwort auf ein ähnliches, aber anderes Problem verdient keine Freigabe.
- Entscheidungsgrenzen.Achte auf vorgetäuschte Ausführung, Zusagen ohne Berechtigung und unnötige Offenlegung von Informationen.
- Nutzbare Form.Prüfe Verständlichkeit, Ton und nächsten Schritt. Die passende Länge richtet sich nach dem Kundenbedarf, nicht einer festen Satzanzahl.
Benenne bei einer Teilbewertung das fehlende Element. „Vollständigkeit teilweise erfüllt: Bedingung der Anfrage vor Leistungsbeginn fehlt“ ist nützlich, „könnte besser sein“ nicht. Ergänze bei Fakten die passende Quellenstelle.
Klärt die Quelle die Sache nicht, dokumentierst du fehlende Bewertungsgrundlage, statt eine plausibel klingende Aussage anhand deiner früheren Erfahrung freizugeben. Die Unsicherheit bleibt dadurch sichtbar.
Quellenfehler verbesserst du durch Redaktion von Wissensbasis und FAQ, statt jeden Entwurf beim Ton abzuwerten.
Bevor du eine Quellenangabe in einer KI-Antwort verwendest, hilft der Leitfaden: KI-Quellenangaben prüfen: belegt die Quelle jede Aussage?.
Beispiel und dokumentierte Entscheidung
Ein Beispielentwurf lautet: „Natürlich wechseln wir zur längeren Leistung zum gleichen Preis“. Das Wissen bestätigt nur die Möglichkeit einer Änderungsanfrage. Die Korrektur lautet: „Du kannst eine Umfangsänderung anfragen; das Team prüft verfügbare Zeit und Bedingungen der neuen Leistung“.
Der ursprüngliche Text verletzt Faktenrichtigkeit und Entscheidungsgrenzen trotz höflichen Tons. Eine richtige Endfassung darf den Fehler des Vorschlags nicht aus der Bewertung entfernen.
Scrolle die Tabelle seitlich, um alle Spalten zu sehen.
| Element | Arbeitsnotiz | Prüfung |
|---|---|---|
| Fakten | Der Preis ist nicht bestätigt | Nicht erfüllt |
| Grenzen | Der Entwurf verspricht eine Teamentscheidung | Nicht erfüllt |
| Form | Klarer und höflicher Text | Erfüllt |
Zeige Prüfern die korrigierte Antwort erst nach ihrer Entwurfsbewertung. Sonst kann die Endfassung den Eindruck erzeugen, eine erforderliche Bedingung habe schon im ursprünglichen Vorschlag gestanden. Ergänzt der Mitarbeiter einen Preis aus anderer Quelle, dokumentiere das als sachliche Vervollständigung.
Schreibe diese Arbeit nicht Copilot zu und bewerte das Modell nicht anhand unbekannter Informationen. Das Ergebnis erklärt die für sicheren Versand nötige Korrektur statt nur die Zufriedenheit mit der Endfassung.
Kalibriere anhand derselben Entwürfe: Jeder Prüfer bewertet zunächst allein, danach vergleicht ihr Ergebnisse. Besprecht zuerst Fakten- und Berechtigungsunterschiede, dann Stilfragen. Bewahre ein gutes, ein teilweise gutes und ein fehlerhaftes Beispiel als Maßstab auf.
Entscheide einen Fakt nicht durch Mehrheitsabstimmung, wenn der Verantwortliche die tatsächliche Regel bestätigen kann. Ändert sich die Regel, aktualisierst du den Beispieleintrag.
Ausnahmen, die du berücksichtigen musst
Setze Annahme nicht mit Qualität gleich. Ein Mitarbeiter kann unter Warteschlangendruck oder nach starker Bearbeitung annehmen. Ein guter Entwurf kann abgelehnt werden, weil der Kunde bereits einen neuen Fakt ergänzt hat. Du brauchst Inhalt und Kontext statt nur eines Klicks.
Unbelegte Zusagen, falsche Informationen oder fremde Kundendaten verhindern eine positive Bewertung. Ein richtiger Ton gleicht das Kundenrisiko nicht aus.
Vergleiche die Qualität mit der Bearbeitungsart. Ein kürzerer Einstieg ist etwas anderes als eine entfernte falsche Garantie. Du kannst manuell erfassen, ob der Text unverändert versandt, formal bearbeitet, sachlich korrigiert oder abgelehnt wurde.
Diese Kategorien sind eine eigene Auswertungsmethode und keine eingebaute Produktkennzahl. Ohne separate Messung der Arbeitszeit belegen sie auch keine Zeitersparnis.
NIST behandelt die Bewertung vertrauenswürdiger generativer Systeme. Die Vorlage mit fünf Kriterien und die Kalibrierung sind unser eigener Vorschlag. NIST: Vertrauenswürdigkeit generativer KI bewerten.
Für die öffentliche Erstabnahme nutzt du Chatbot-Tests vor dem Start; Stichprobe und Verantwortung unterscheiden sich.
Den vorbereiteten Ablauf umsetzen
Copilot in Meet AI erstellt einen Vorschlag zur manuellen Prüfung und Versendung durch den Mitarbeiter. Fehlendes verlässliches Wissen darf nicht durch erfundene Fakten ersetzt werden. Die App braucht eine aktive Installation und einen berechtigten Tarif; Vorschläge nutzen das gemeinsame Generierungskontingent. Die Bewertungsvorlage kannst du vor der Stichprobe außerhalb des Systems vorbereiten.
Beende den Durchgang mit einer Korrektur und einer verantwortlichen Person. Verwechseln viele Entwürfe zwei Leistungen, ergänze deren Unterschiede im Wissen und bewerte dieselben Anliegen erneut. Bei langen Einleitungen vereinbart ihr einen Schreibstandard. Ändere nicht nach einem schwierigen Gespräch die ganze Vorlage: Feste Kriterien sorgen dafür, dass die nächste Stichprobe sinnvoll vergleichbar bleibt und neue Fehler nicht hinter veränderten Bewertungsregeln verschwinden.
Vor neuen Quellen prüfst du, welche Daten ins Chatbot-Wissen gehören, damit fehlender Kontext nicht zum Hinzufügen privater Datensätze führt.
Praktische Fragen und Antworten
Diese Antworten klären den Einstieg in „Qualität der KI-Copilot-Vorschläge“ und helfen deinem Team, die Arbeitsregeln festzuhalten.
Wie viele Entwürfe soll ich bewerten? Beginne mit wichtigen Anliegen und Risikostufen. Nenne eine kleine Stichprobe nicht statistisch repräsentativ; nutze sie für konkrete Fehler und einen gemeinsamen Maßstab.
Kann KI andere KI bewerten? Eine automatische Bewertung kann beim Sortieren helfen, ersetzt aber keinen Regelverantwortlichen. Bei Preisen, Berechtigungen und Ausnahmen muss ein Prüfer die freigegebene Quelle kontrollieren.
Was mache ich mit dem Ergebnis? Wähle eine Korrektur zur Ursache: Quellenredaktion, engerer Antwortumfang oder Mitarbeiterschulung. Ein Bericht mit Bewertungen allein verbessert keine späteren Vorschläge.
