Import strony do bazy wiedzy AI: które podstrony wykluczyć przed startem

Import strony do bazy wiedzy AI wydaje się prosty: podajesz adres witryny albo sitemapy i czekasz na wynik. Kłopot w tym, że crawler może pobrać także koszyk, strony tagów, kolejne strony listy wpisów i promocje sprzed roku. Asystent może potem odpowiadać na podstawie nieaktualnego regulaminu albo strony, na której nie ma żadnej treści. Dlatego zanim dodasz źródło, poświęć godzinę na przegląd adresów i listę wykluczeń.

Ten poradnik dotyczy techniki importu: grup adresów, reguł wykluczeń, canonical, robots.txt i testów po imporcie. To, jakie rodzaje treści w ogóle nadają się do wiedzy, opisuje osobny tekst o doborze danych do wiedzy chatbota. Przykładowe adresy pochodzą z fikcyjnego sklepu ogrodniczego Zielnik.

Które podstrony wykluczyć z importu strony

Wyklucz adresy, które nie odpowiadają na pytanie klienta albo opisują coś, co już nie obowiązuje. Najczęściej są to techniczne strony sklepu, archiwa i powielone listy. Tabela pokazuje typowe grupy na przykładzie fikcyjnego sklepu Zielnik. Twoje adresy mogą wyglądać inaczej, więc traktuj ją jako punkt wyjścia do przeglądu.

↔ Przesuń tabelę w bok, aby zobaczyć wszystkie kolumny.

Nie wykluczaj odruchowo całego bloga. Poradnik o pielęgnacji roślin może dobrze odpowiadać na pytania przed zakupem, a lista wpisów z kategorii już nie. Decyzja dotyczy grupy adresów, a nie pojedynczej strony, i dlatego zaczynasz od sitemapy.

Przejrzyj sitemapę i pogrupuj adresy według wzorców

Sitemapa to najszybszy spis adresów, które witryna sama zgłasza jako ważne. Otwórz ją w przeglądarce, zwykle pod adresem /sitemap.xml albo wskazanym w robots.txt, i skopiuj adresy do arkusza. Wtyczki SEO często dzielą ją na mniejsze pliki dla wpisów, stron, produktów i tagów. Sam ten podział podpowiada pierwsze grupy.

1. Wypisz adresy.Skopiuj adresy z sitemapy i jej podplików do jednej kolumny arkusza. Jeśli strona nie ma sitemapy, przejdź ręcznie menu, stopkę i kilka kategorii.
2. Wyodrębnij wzorce.Obok każdego adresu zapisz pierwszy segment ścieżki i parametry, na przykład /tag/, /promocje/ albo ?orderby=. Posortuj kolumnę, aby powtarzające się początki znalazły się obok siebie.
3. Podejmij decyzję dla grupy.Przy każdej grupie wpisz „importuj” albo „wyklucz” z krótkim uzasadnieniem. Grupy mieszane, jak /promocje/, rozbij na akcje aktualne i zakończone.
4. Zapisz gotową regułę.Przy decyzji „wyklucz” wpisz rodzaj reguły i jej wartość. Ta kolumna przyda się przy kolejnym odświeżeniu i przy zmianie osoby, która zarządza wiedzą.

Zwróć uwagę na adresy, których nie ma w sitemapie, ale pojawiają się w linkach na stronie, na przykład filtry produktów. Crawler podąża za linkami także po starcie z sitemapy, więc takie warianty też mogą zostać pobrane. Dopisz je do arkusza po przejrzeniu kilku stron kategorii.

Prefiks, fraza czy wzorzec: jak zapisać wykluczenie

W Meet AI źródło typu strona lub mapa witryny ma pole „Wykluczenia adresów” z trzema rodzajami reguł. „Zaczyna się od” wymaga pełnego adresu z https:// i wyklucza wszystko, co zaczyna się tym ciągiem. „Zawiera” sprawdza, czy fraza występuje w dowolnym miejscu adresu, także w parametrach. „Pasuje do wzorca” obsługuje gwiazdkę, która zastępuje dowolny ciąg znaków.

Wzorzec musi pasować do całego adresu albo całej ścieżki. Dlatego /tag bez gwiazdki obejmie tylko stronę /tag, a /tag/* wszystkie strony tagów. Frazę dla reguły „Zawiera” dobieraj ostrożnie: samo słowo „konto” wykluczy też wpis o zakładaniu konta w programie lojalnościowym. Bezpieczniejsza jest fraza z ukośnikiem, na przykład /moje-konto.

Canonical i robots.txt: co crawler uwzględni sam

Crawler Meet AI respektuje robots.txt i nie pobiera adresów zablokowanych regułą Disallow. Nie dodawaj jednak blokad w robots.txt tylko po to, by odchudzić wiedzę asystenta. Reguła dla wszystkich robotów obejmie też wyszukiwarki, a wykluczenie w źródle działa wyłącznie w bazie wiedzy. Nie zakładaj również, że znacznik noindex usunie stronę z importu; jeśli jej nie chcesz, dopisz regułę.

Google wyjaśnia, że robots.txt służy do zarządzania ruchem robotów, a nie do ukrywania stron przed wyszukiwarką. Dokument opisuje wyszukiwarkę Google, a nie działanie crawlera Meet AI. Google Search Central: robots.txt.

Canonical pomaga przy duplikatach. Crawler zapisuje stronę pod adresem kanonicznym i pomija kolejne warianty z tym samym canonical. Pobiera też tylko adresy z tej samej domeny i protokołu, więc subdomena sklepu wymaga osobnego źródła. Jeśli strony z parametrem sortowania nie mają canonical, każda może trafić do wiedzy jako osobny dokument. Sprawdź kod dwóch wariantów tej samej listy, a gdy każdy wskazuje sam siebie, dodaj regułę wykluczenia.

Google opisuje rel=canonical jako silny sygnał preferowanej wersji zduplikowanych stron, a nie bezwzględne polecenie. Nie dowodzi to, jak canonical traktują inne narzędzia. Google Search Central: duplikaty adresów.

Limit 250 stron i głębokość 5: na co go wydać

Jedno źródło typu strona lub mapa witryny pobiera najwyżej 250 stron i schodzi maksymalnie pięć poziomów linków od adresu startowego. Adresy wykluczone regułą lub zablokowane w robots.txt nie są pobierane, więc nie zajmują miejsca w limicie. Warianty z tym samym canonical są już pobierane i liczą się do limitu, choć do wiedzy trafia jeden dokument. W sklepie z rozbudowanym blogiem kilkadziesiąt stron tagów i paginacji może wyczerpać pulę, zanim crawler dotrze do opisu dostawy lub zwrotów.

Crawler idzie od adresu startowego poziom po poziomie, więc strony najbliżej startu mają pierwszeństwo. Gdy najważniejsze treści leżą w dziale pomocy, rozważ start od adresu tego działu zamiast strony głównej. Baza wiedzy jednej witryny mieści do 100 źródeł, łącznie z artykułami Centrum pomocy. Cenniki i regulaminy w PDF dodaj jako pliki; ich przygotowanie opisuje poradnik o cenniku w PDF w bazie wiedzy.

Prywatne testy po imporcie: czego szukać w cytatach

Nowe źródło zaczyna działać po odświeżeniu wiedzy, a nowa wersja staje się aktywna dopiero po pełnym sukcesie publikacji. Wtedy uruchom prywatne testy. Wynik pokazuje cytaty źródeł faktycznie użytych w odpowiedzi, a sam test nie ma żadnych skutków dla klientów. Zadawaj pytania, na które wykluczona treść odpowiadała inaczej niż aktualna.

• Pytanie o zakończoną promocję nie cytuje strony z archiwum akcji.
• Pytanie o zasady zwrotu cytuje aktualny regulamin, a nie wersję archiwalną.
• Żaden cytat nie prowadzi do koszyka, konta, wyników wyszukiwania ani listy tagów.
• Cytowany fragment zawiera treść, a nie samo menu, stopkę lub komunikat o braku produktów.
• Pytanie spoza zakresu strony kończy się brakiem dopasowania albo przekazaniem człowiekowi.

Jeśli cytat wskazuje wykluczoną grupę, sprawdź, czy reguła pasuje do adresu w dokładnie tej postaci, łącznie z ukośnikiem na końcu. Gdy odpowiedzi brakuje mimo poprawnego źródła, skorzystaj z diagnostyki opisanej w tekście o tym, dlaczego chatbot nie znajduje odpowiedzi. Pełny zestaw pytań przed startem znajdziesz w poradniku o testowaniu chatbota przed wdrożeniem.

Ręczne odświeżenie po większych zmianach na stronie

Baza wiedzy nie pobiera zmian ze strony automatycznie. Administrator witryny może uruchomić pełne odświeżenie ręcznie, najwyżej raz na 7 dni. Siedmiodniowa przerwa zaczyna się także wtedy, gdy odświeżenie się nie powiedzie, dlatego listę wykluczeń dopracuj przed pierwszym odświeżeniem. Poprawiona reguła zadziała dopiero przy kolejnym, a do tego czasu asystent korzysta z aktywnej wersji wiedzy.

Zaplanuj odświeżenie po zmianach, które dotykają struktury adresów: nowym szablonie sklepu, przeniesieniu bloga, nowej sekcji promocji albo nowym regulaminie. Przed odświeżeniem przejrzyj sitemapę jeszcze raz i porównaj ją z arkuszem z pierwszego importu. Nowa grupa adresów, na przykład /outlet/, wymaga decyzji tak samo jak przy starcie. Właścicieli treści i kolejność publikacji opisuje poradnik o aktualizacji wiedzy chatbota, a redagowanie samych odpowiedzi tekst o przygotowaniu bazy wiedzy dla chatbota.

Pytania przed pierwszym importem strony

Lepiej importować całą witrynę czy sitemapę? Sitemapa daje przewidywalny punkt startu, bo zawiera adresy, które strona sama zgłasza. Import witryny zaczyna od jednego adresu i podąża za linkami, więc łatwiej trafia na filtry i warianty adresów. W obu przypadkach obowiązują te same reguły wykluczeń, limity i robots.txt. Jeśli sitemapa zawiera tagi i archiwa, wykluczenia nadal są potrzebne.

Czy mogę wykluczyć jedną stronę, a zostawić resztę działu? Tak. Użyj wzorca z dokładną ścieżką bez gwiazdki albo reguły „Zaczyna się od” z pełnym adresem tej strony. Pamiętaj, że „Zaczyna się od” obejmie też adresy, które przedłużają ten początek, na przykład /regulamin-2022-zalacznik. Po odświeżeniu potwierdź efekt prywatnym testem z pytaniem o treść tej strony.