RAG oder Fine Tuning: Für ein Unternehmen läuft die Frage darauf hinaus, wo das Firmenwissen liegen soll. Bei Retrieval Augmented Generation durchsucht der Chatbot vor jeder Antwort deine Dokumente und übergibt passende Abschnitte zusammen mit der Frage an das Modell. Fine-Tuning funktioniert anders: Es verändert das Modell selbst durch zusätzliches Training mit Beispielen. Beides wird gern als „der KI das Unternehmen beibringen“ beschrieben, löst aber unterschiedliche Probleme.
Dieser Leitfaden hilft dir, die Architektur zu wählen, bevor du mit einem Anbieter oder einer Entwicklerin sprichst. Er behandelt nicht die Bearbeitung von Dokumenten; dafür gibt es den Leitfaden zur Wissensbasis für einen KI-Chatbot. Hier vergleichst du, wo Wissen gespeichert wird, wie du es änderst und was sich nach einer Antwort überprüfen lässt.
Was RAG ist: Suche vor der Antwort
Ein Sprachmodell kennt, was in seinen Trainingsdaten stand. Deine Preisliste, deine Öffnungszeiten oder dein neues Rückgabeverfahren kennt es nicht. RAG versucht nicht, diese Informationen dauerhaft in das Modell zu schreiben. Stattdessen sucht die Anwendung bei jeder Frage passende Abschnitte in deiner Wissensbasis, hängt sie an den Prompt an, und das Modell formuliert daraus die Antwort.
- Abrufen.Die Kundenfrage geht an einen Index deiner Inhalte. Das System wählt die Abschnitte aus, die am besten passen.
- Anreichern.Die gewählten Abschnitte werden der Frage als Material beigefügt, auf das sich das Modell stützen soll.
- Generieren.Das Modell schreibt die Antwort aus dem gelieferten Material. Die Anwendung kann Verweise auf die genutzten Quellen ergänzen.
Die Dokumentation von Microsoft beschreibt RAG in drei Schritten: Abruf, Anreicherung des Prompts und eine auf den abgerufenen Inhalten basierende Antwort, optional mit Quellenangaben. Über die Qualität einer bestimmten Umsetzung sagt das nichts aus: Microsoft Learn, RAG in Microsoft Foundry.
Die wichtigste Folge ist einfach: Das Wissen liegt außerhalb des Modells. Änderst du ein Dokument und veröffentlichst eine neue Version der Wissensbasis, kann schon die nächste Antwort den neuen Inhalt nutzen.
Was Fine-Tuning tatsächlich verändert
Fine-Tuning heißt, ein vorhandenes Modell mit einem Satz von Beispielen weiterzutrainieren: Eingabe und erwartete Ausgabe. Danach antwortet das Modell häufiger in dem gezeigten Stil, Format oder Lösungsmuster. Es ist ein Werkzeug, um Verhalten zu ändern, kein Register für Fakten, die sich jede Woche verschieben.
Der Leitfaden von OpenAI empfiehlt eine Reihenfolge: zuerst Evaluierungen schreiben, dann am Prompt arbeiten und Fine-Tuning nur in manchen Fällen einsetzen, etwa wenn Antworten ein einheitliches Format brauchen. Einen Vergleich mit RAG enthält die Quelle nicht: OpenAI, Model Optimization.
Training erfordert einen vorbereiteten Beispielsatz, eine Bewertung des Ergebnisses und eine Wiederholung nach jeder wesentlichen Änderung. Enthielten die Beispiele eine alte Preisliste, kann das Modell sie weiter wiedergeben, bis du einen neuen Satz erstellst. Außerdem siehst du in der Antwort nicht, aus welchem Beispiel eine Information stammt. Microsoft fasst es knapp zusammen: RAG für private und häufig wechselnde Daten, Fine-Tuning für Stil, Verhalten und Aufgabenleistung.
RAG und Fine-Tuning im direkten Vergleich
Die Tabelle vergleicht beide Methoden aus Sicht eines Unternehmens, dessen Chat zum aktuellen Angebot passend antworten soll.
Scrolle die Tabelle seitlich, um alle Spalten zu sehen.
| Kriterium | RAG | Fine-Tuning |
|---|---|---|
| Was sich ändert | Das Material, das das Modell pro Frage erhält | Das Modell und sein Verhalten |
| Fakt ändern | Quelle ersetzen und neue Version veröffentlichen | Neue Beispiele und erneutes Training |
| Information entfernen | Quelle aus der Wissensbasis löschen | Kein einfaches Entfernen aus dem Modell |
| Antwort prüfen | Genutzte Abschnitte lassen sich zeigen | Keine Spur, woher ein Fakt stammt |
| Hauptaufwand | Gepflegte Quellen und gute Suchqualität | Beispielsatz, Training und Bewertung |
| Passt gut für | Preise, Termine, Abläufe, Angebot | Festes Format, Tonfall, Aufgabentyp |
Die Methoden schließen sich nicht aus. Brauchst du wirklich ein anderes Verhalten, kannst du beides kombinieren: Ein feinabgestimmtes Modell kann weiterhin Suche nutzen. In einem kleinen Unternehmen lautet das Problem aber meist „der Chatbot kennt unsere Regeln nicht“, und darauf antwortet die Suche in den eigenen Quellen.
Warum Firmenwissen in die Suche gehört
Nimm eine fiktive Sprachschule, die ihre Kurspreise zweimal im Jahr ändert und jeden Monat neue Gruppentermine ergänzt. Mit RAG bedeutet eine Änderung, ein Dokument zu ersetzen und die Wissensbasis zu veröffentlichen. Beim Fine-Tuning bräuchte jeder neue Termin neue Beispiele, und die alten Preise könnten bis zum nächsten Training im Modell bleiben.
Der zweite Vorteil ist Kontrolle. Stützt sich eine Antwort auf einen Dokumentabschnitt, kannst du ihn öffnen und mit dem Satz vergleichen. Wie das sorgfältig, Aussage für Aussage, funktioniert, erklärt der Leitfaden, wie du KI-Quellenangaben gegen jede Aussage prüfst. Ein feinabgestimmtes Modell bietet einen solchen Bezugspunkt schlicht nicht.
Der dritte Punkt ist die Pflege. Wissen in einem RAG-Aufbau braucht eine verantwortliche Person, Überprüfungen und eine bewusste Veröffentlichung, aber diese Arbeit erledigt das Team, das das Angebot kennt. Den Ablauf nach einer Angebotsänderung, vom Zurückziehen der alten Aussage bis zur Ergebniskontrolle, beschreibt der Leitfaden Chatbot-Wissen aktualisieren.
Was RAG allein nicht löst
RAG garantiert keine richtige Antwort. Liefert die Suche einen unpassenden oder unvollständigen Abschnitt, kann das Modell trotzdem einen Satz schreiben, der sicher klingt und falsch ist. Microsoft nennt diese Grenze ausdrücklich und empfiehlt Quellenangaben sowie klare Anweisungen, damit das Modell bei den abgerufenen Inhalten bleibt. Typische Ursachen solcher Fehler findest du im Beitrag darüber, warum ein Chatbot Antworten erfindet.
Die Qualität hängt an den Quellen. Zwei Dokumente mit unterschiedlichen Rückgaberegeln liefern dem Modell widersprüchliches Material, und ein aus dem Zusammenhang gerissener Satz verliert seine Bedingung. Behandle abgerufene Inhalte außerdem als externe Eingabe: Ein Dokument kann eine Anweisung enthalten, der das Modell nicht folgen sollte. Dieses Risiko behandelt der Leitfaden, wie Prompt Injection die Regeln eines Chatbots verändern kann.
Schließlich der Zugriff. Landet ein internes Dokument in der Wissensbasis, kann die Suche es einem Kunden ausgeben. Die Wahl der Methode ersetzt nicht die Entscheidung, welches Material überhaupt in öffentliche Antworten einfließen darf.
So triffst du die Entscheidung im eigenen Unternehmen
Sammle ein gutes Dutzend echter Kundenfragen und notiere jeweils, was in den bisherigen Antworten schiefging. Fehlt ein Fakt, liegt das Problem beim Wissen. Stimmt der Fakt, passt aber die Form nicht, liegt es beim Verhalten. Beantworte die folgenden Fragen, bevor du mit einem Anbieter sprichst.
- Entstehen falsche Antworten durch fehlende oder veraltete Informationen über dein Unternehmen?
- Wie oft ändern sich Preise, Termine und Regeln, nach denen Kunden fragen?
- Musst du das Dokument nennen können, auf dem eine Antwort beruht?
- Hast du viele geprüfte Gesprächsbeispiele, die den gewünschten Stil zeigen?
- Wer im Team verantwortet die Quellen und ihre Veröffentlichung?
Vor dem Gespräch kopieren: „Woher bezieht der Chatbot seine Fakten: aus der Suche in unseren Quellen oder aus einem trainierten Modell? Wie lange dauert es, bis eine Dokumentänderung in den Antworten ankommt? Sehen wir, aus welcher Quelle ein Satz stammt? Was macht der Chatbot, wenn unsere Quellen keine Antwort enthalten? Wie entfernen wir eine Information, die nicht mehr genannt werden soll?“
In Meet AI folgt das Wissen dem Suchprinzip: Der Assistent und die Copilot-Vorschläge stützen Fakten auf die aktive Wissensbasis deiner Website, nicht auf das Training des Modells. Quellen können manuelle FAQ, Dateien, eine Website oder eine Sitemap sein. Fehlt in der Wissensbasis ein verlässlicher Abschnitt, generiert der Assistent keine Antwort, sondern sagt, dass ihm die Information fehlt, und bietet an, die Frage an dein Team weiterzugeben. Ein privater Test zeigt Quellenangaben zu den tatsächlich genutzten Quellen; Meet AI benötigt einen passenden Plan und eine aktive App.
Gehe vor dem Start die Kontrollfragen aus dem Leitfaden zum Testen eines Chatbots vor dem Einsatz durch. Nimm auch Fragen auf, die die Wissensbasis bewusst nicht beantworten kann.
Fragen zu RAG und Fine-Tuning
Heißt RAG, dass der Chatbot aus meinen Dokumenten lernt? Nicht im Sinne von Training. Die Dokumente werden bei jeder Frage durchsucht, und das Modell erhält nur ausgewählte Abschnitte als Material für die Antwort. Entfernst du eine Quelle und veröffentlichst die Wissensbasis, steht der Abschnitt nicht mehr zur Verfügung. Das Modell speichert ihn nicht dauerhaft.
Wann lohnt sich Fine-Tuning im Kundenservice? Wenn Antworten einem festen, speziellen Format folgen müssen oder das Modell einen bestimmten Aufgabentyp trotz eines guten Prompts schlecht erledigt. Beginne mit Evaluierungen und Arbeit am Prompt und erwäge Training erst, wenn du einen großen Satz geprüfter Beispiele hast. Aktuelle Fakten gehören trotzdem in Quellen außerhalb des Modells.
