Przeszukiwanie obszarów logowania, procesów kasowych i innych stron z ograniczeniami
Domyślnie robot indeksujący będzie odwiedzać tylko adresy URL, pod którymi znajduje się kod CMP. Może to prowadzić do problemów, gdy robot indeksujący nie jest w stanie dotrzeć do (tej samej) zawartości, do której dotarłby zwykły użytkownik (np. ponieważ użytkownik zalogował się do obszaru logowania, dodał produkty do swojego koszyka lub wykonał inne zadania w celu uzyskać inny wynik ze swojej witryny).
Korzystanie z uwierzytelniania podstawowego
Uwierzytelnianie podstawowe to najpopularniejsza metoda uwierzytelniania serwerów WWW (znana również jako „uwierzytelnianie .htaccess” lub „logowanie .htaccess/.htpasswd”). Aby umożliwić robotowi dostęp do stron chronionych hasłem, możesz skonfigurować uwierzytelnianie za pomocą CMP > Edytuj > Ustawienia robota > Uwierzytelnianie HTTP.
Korzystanie z niestandardowych plików cookie
W ustawieniach CMP możesz ustawić uwierzytelnianie plików cookie (CMP > Edytuj > Pokaż ustawienia robota > Uwierzytelnianie plików cookie). Jest to mechanizm informujący robota indeksującego o wysyłaniu plików cookie na serwer (chociaż te pliki cookie mogą nigdy nie istnieć gdzie indziej). Gdy robot indeksujący odwiedzi witrynę, pliki cookie będą obecne, a witryna może je odczytać. Witryna może wtedy zareagować w inny sposób, niż gdyby pliki cookie nie były obecne (np. poprzez umożliwienie robotowi dostępu do obszaru o ograniczonym dostępie lub pokazanie robotowi pewnych treści, które w przeciwnym razie wymagają wykonania innych czynności przed wizytą ).
Aby skonfigurować uwierzytelnianie plików cookie, wstaw jeden element w wierszu, gdzie element składa się z domeny:nazwa_pliku_pliku:wartość_pliku_cookie. Przykład:
mywebsite.com:mycookie:123
myotherwebsite.com:othercookie:let_me_in
a-third-website.com:authentication:crawler
a-third-website.com:token:bfe926da3fc1Wysyłanie adresów URL do robota
Ten kod to niekoniecznie kiedy masz normalny kod CMP na swojej stronie!
Aby wysłać adresy URL do robota (np. w fazie testów), możesz dodać do swojej witryny następujący skrypt:
<script>
(new Image()).src = "https://delivery.consentmanager.net/delivery/addurl.php?id=XX&h="+encodeURIComponent(location.href);
</script>
Zastąp XX identyfikatorem swojego CMP. Automatycznie zbierze adresy URL, w których zainstalowany jest skrypt, i wyśle je do zaplecza w celu przeszukania.
