Eine Website in die KI-Wissensbasis zu importieren wirkt einfach: Du trägst die Adresse der Website oder Sitemap ein und wartest. Der Haken: Der Crawler kann dabei auch Warenkorb, Tag-Seiten, nummerierte Blogübersichten und Aktionen aus dem Vorjahr abrufen. Der Assistent antwortet dann womöglich aus veralteten AGB oder von einer Seite ohne echten Inhalt. Nimm dir deshalb vor dem Hinzufügen der Quelle eine Stunde für die Adressprüfung und eine Ausschlussliste.
Dieser Leitfaden behandelt die Technik des Imports: Adressgruppen, Ausschlussregeln, Canonical, robots.txt und Tests nach dem Import. Welche Inhaltsarten überhaupt ins Wissen gehören, beschreibt der Leitfaden zur Auswahl von Daten für das Chatbot-Wissen. Die Beispieladressen stammen vom fiktiven Gartenshop Gartenhof.
Welche Unterseiten du vom Website-Import ausschließt
Schließe Adressen aus, die keine Kundenfrage beantworten oder etwas beschreiben, das nicht mehr gilt. Meist sind das technische Shopseiten, Archive und doppelte Übersichten. Die Tabelle zeigt typische Gruppen am Beispiel des fiktiven Shops Gartenhof; nutze sie als Ausgangspunkt.
Scrolle die Tabelle seitlich, um alle Spalten zu sehen.
| Adressgruppe | Beispieladresse | Warum ausschließen |
|---|---|---|
| Warenkorb, Kasse, Kundenkonto | /warenkorb, /mein-konto | Kein Kundeninhalt oder eine sitzungsabhängige Ansicht |
| Tags und Datumsarchive | /tag/pflanzkuebel, /2023/05/ | Wiederholen Beitragsauszüge ohne Zusammenhang |
| Paginierung und Sortierung | /blog/page/4, ?orderby=price | Dieselbe Liste in vielen Varianten |
| Beendete Aktionen | /aktionen/sommer-2024 | Bedingungen, die nicht mehr gelten |
| Archivierte AGB | /agb-2022 | Konkurrieren mit den aktuellen Regeln |
| Suchergebnisse | /?s=giesskanne | Zufällige Treffer ohne festen Inhalt |
Schließe nicht reflexartig den ganzen Blog aus. Ein Ratgeber zur Pflanzenpflege kann Fragen vor dem Kauf gut beantworten, eine Kategorieübersicht der Beiträge dagegen nicht. Du entscheidest pro Adressgruppe und nicht pro Seite, deshalb beginnst du mit der Sitemap.
Sitemap prüfen und Adressen nach Mustern gruppieren
Die Sitemap ist die schnellste Liste der Adressen, die die Website selbst als wichtig meldet. Öffne sie im Browser, meist unter /sitemap.xml oder der in robots.txt genannten Adresse, und kopiere die URLs in eine Tabelle. SEO-Plugins teilen sie oft in Dateien für Beiträge, Seiten, Produkte und Tags auf. Schon diese Aufteilung liefert die ersten Gruppen.
- Adressen auflisten.Kopiere die URLs aus der Sitemap und ihren Unterdateien in eine Tabellenspalte. Ohne Sitemap gehst du Menü, Fußzeile und einige Kategorien von Hand durch.
- Muster herauslösen.Notiere neben jeder URL das erste Pfadsegment und die Parameter, etwa /tag/, /aktionen/ oder ?orderby=. Sortiere die Spalte, damit gleiche Anfänge nebeneinander stehen.
- Pro Gruppe entscheiden.Markiere jede Gruppe mit importieren oder ausschließen und einer kurzen Begründung. Gemischte Gruppen wie /aktionen/ teilst du in laufende und beendete Aktionen.
- Regel notieren.Trage bei jeder Ausschlussentscheidung Regelart und Wert ein. Diese Spalte hilft bei der nächsten Aktualisierung und bei einer Übergabe.
Achte auf Adressen, die in der Sitemap fehlen, aber in Links auf der Seite auftauchen, zum Beispiel Produktfilter. Der Crawler folgt Links auch dann, wenn er bei einer Sitemap startet, deshalb können solche Varianten ebenfalls abgerufen werden. Ergänze sie nach einem Blick auf einige Kategorieseiten.
Präfix, Ausdruck oder Muster: wie du einen Ausschluss formulierst
In Meet AI hat eine Quelle vom Typ Website oder Sitemap das Feld „Ausgeschlossene Adressen“ mit drei Regelarten. „Beginnt mit“ braucht eine vollständige Adresse mit https:// und schließt alles aus, was so anfängt. „Enthält“ prüft, ob ein Ausdruck irgendwo in der Adresse vorkommt, auch in den Parametern. „Entspricht Muster“ unterstützt ein Sternchen, das für eine beliebige Zeichenfolge steht.
Ein Muster muss zur ganzen Adresse oder zum ganzen Pfad passen. Daher erfasst /tag ohne Sternchen nur die Seite /tag, /tag/* dagegen alle Tag-Seiten. Wähle Ausdrücke für „Enthält“ mit Bedacht: Das bloße Wort „konto“ schließt auch einen Beitrag über das Kundenkonto im Treueprogramm aus. Sicherer ist ein Ausdruck mit Schrägstrich, etwa /mein-konto.
Beginnt mit: https://gartenhof.example/warenkorb; Enthält: /mein-konto; Enthält: ?orderby=; Enthält: ?s=; Entspricht Muster: /tag/*; Entspricht Muster: /blog/page/*; Entspricht Muster: /aktionen/*-2024*; Beginnt mit: https://gartenhof.example/agb-2022.
Canonical und robots.txt: was der Crawler selbst berücksichtigt
Der Crawler von Meet AI respektiert robots.txt und ruft keine Adressen ab, die eine Disallow-Regel sperrt. Füge trotzdem keine Sperren in robots.txt hinzu, nur um das Wissen des Assistenten schlanker zu machen. Eine Regel für alle Bots betrifft auch Suchmaschinen, ein Ausschluss in der Quelle dagegen nur die Wissensbasis. Gehe auch nicht davon aus, dass ein noindex-Tag eine Seite vom Import fernhält; lege dafür eine Regel an.
Google erklärt, dass robots.txt den Crawler-Verkehr steuert und kein Mittel ist, Seiten aus der Suche herauszuhalten. Das Dokument beschreibt die Google-Suche, nicht die Arbeitsweise des Crawlers von Meet AI. Google Search Central: robots.txt.
Canonical hilft bei Duplikaten. Der Crawler speichert eine Seite unter ihrer kanonischen Adresse und überspringt weitere Varianten mit demselben Canonical. Er ruft außerdem nur Adressen mit derselben Domain und demselben Protokoll ab, eine Shop-Subdomain braucht also eine eigene Quelle. Haben sortierte Übersichten kein Canonical, kann jede als eigenes Dokument im Wissen landen. Prüfe den Code zweier Varianten; verweist jede auf sich selbst, ergänze einen Ausschluss.
Google beschreibt rel=canonical als starkes Signal für die bevorzugte Version doppelter Seiten, nicht als verbindliche Anweisung. Daraus folgt nicht, wie andere Werkzeuge Canonical behandeln. Google Search Central: doppelte URLs.
Limit von 250 Seiten und Tiefe 5: wofür du es nutzt
Eine Quelle vom Typ Website oder Sitemap ruft höchstens 250 Seiten ab und geht maximal fünf Linkebenen von der Startadresse aus. Adressen, die eine Regel ausschließt oder robots.txt sperrt, werden nicht abgerufen und belasten das Limit daher nicht. Varianten mit demselben Canonical werden dagegen abgerufen und zählen mit. In einem Shop mit großem Blog können Dutzende Tag- und Paginierungsseiten das Kontingent aufbrauchen, bevor der Crawler die Infos zu Versand oder Rückgabe erreicht.
Der Crawler arbeitet sich Ebene für Ebene von der Startadresse vor, Seiten nahe am Start haben also Vorrang. Liegen die wichtigsten Inhalte im Hilfebereich, starte eher dort als auf der Startseite. Die Wissensbasis einer Website fasst bis zu 100 Quellen, Artikel aus dem Hilfecenter eingeschlossen. Preislisten und AGB als PDF fügst du als Dateien hinzu; wie du sie vorbereitest, zeigt der Leitfaden zu PDF-Preislisten in der Wissensbasis.
Private Tests nach dem Import: worauf du bei Zitaten achtest
Eine neue Quelle wirkt erst nach einer Aktualisierung des Wissens, und die neue Version wird erst bei vollständig erfolgreicher Veröffentlichung aktiv. Dann startest du private Tests. Das Ergebnis zeigt Zitate der tatsächlich genutzten Quellen, und der Test hat keine Auswirkungen auf Kunden. Stelle Fragen, bei denen ausgeschlossene Inhalte anders antworten würden als aktuelle.
- Eine Frage zu einer beendeten Aktion zitiert keine Seite aus dem Aktionsarchiv.
- Eine Frage zur Rückgabe zitiert die aktuellen AGB, nicht eine archivierte Fassung.
- Kein Zitat führt zu Warenkorb, Kundenkonto, Suchergebnissen oder einer Tag-Übersicht.
- Der zitierte Abschnitt enthält echten Inhalt, nicht nur Menü, Fußzeile oder einen Hinweis auf fehlende Produkte.
- Eine Frage außerhalb des Website-Themas endet ohne Treffer oder mit Übergabe an einen Menschen.
Verweist ein Zitat auf eine ausgeschlossene Gruppe, prüfe, ob die Regel genau zur geschriebenen Adresse passt, einschließlich Schrägstrich am Ende. Fehlt eine Antwort trotz korrekter Quelle, hilft die Diagnose im Leitfaden dazu, warum ein Chatbot keine Antwort findet. Einen vollständigen Fragenkatalog vor dem Start findest du im Leitfaden zum Testen eines Chatbots vor der Einführung.
Manuelle Aktualisierung nach größeren Änderungen an der Website
Die Wissensbasis übernimmt Änderungen der Website nicht automatisch. Ein Administrator der Website kann eine vollständige Aktualisierung manuell starten, höchstens einmal alle 7 Tage. Die Sperrfrist von 7 Tagen beginnt auch dann, wenn die Aktualisierung fehlschlägt, stelle die Ausschlussliste deshalb vor der ersten Aktualisierung fertig. Eine korrigierte Regel greift erst bei der nächsten, bis dahin nutzt der Assistent die aktive Wissensversion.
Plane eine Aktualisierung nach Änderungen an der Adressstruktur ein: neues Shop-Theme, umgezogener Blog, neuer Aktionsbereich oder neue AGB. Prüfe vorher die Sitemap erneut und vergleiche sie mit der Tabelle vom ersten Import. Eine neue Adressgruppe wie /outlet/ braucht genauso eine Entscheidung wie beim Start. Verantwortliche und Reihenfolge der Veröffentlichung beschreibt der Leitfaden zum Aktualisieren von Chatbot-Wissen, das Formulieren der Antworten selbst der Text zur Wissensbasis für einen KI-Chatbot.
Fragen vor dem ersten Website-Import
Importiere ich besser die ganze Website oder die Sitemap? Die Sitemap bietet einen berechenbaren Start, weil sie die Adressen enthält, die die Website selbst meldet. Der Website-Import beginnt bei einer Adresse und folgt Links, gerät also leichter an Filter und URL-Varianten. Für beide gelten dieselben Ausschlussregeln, Limits und robots.txt. Enthält die Sitemap Tags und Archive, brauchst du trotzdem Ausschlüsse.
Kann ich eine einzelne Seite ausschließen und den Rest des Bereichs behalten? Ja. Nutze ein Muster mit dem genauen Pfad ohne Sternchen oder eine Regel „Beginnt mit“ mit der vollständigen Adresse dieser Seite. „Beginnt mit“ erfasst auch Adressen, die diesen Anfang verlängern, etwa /agb-2022-anhang. Bestätige das Ergebnis nach der Aktualisierung mit einem privaten Test zum Inhalt dieser Seite.
