SEO – Ograniczanie ruchu robotów indeksujących

Z artykułu dowiesz się, w jaki sposób przy użyciu modułu SEO możesz ograniczyć ruch dla robotów indeksujących w sklepie na platformie AtomStore.

Jak ograniczyć ruch wybranych robotów?

1. W panelu administracyjnym AtomStore istnieje możliwość edycji zawartości pliku /robots.txt, w którym definiuje się instrukcje dla robotów indeksujących lub wyklucza się wybrane strony z indeksowania. Atomstore domyślnie blokuje indeksowanie stron systemowych takich jak: panel logowania, koszyk, formularze (np. rejestracji, przypominania hasła). 

2. Przejdź do Ustawienia SEO Preferencje , a następnie do pola Dodatkowa zawartość pliku robots.txt . W tym miejscu możesz wprowadzić nowe wartości do pliku robots.txt .

3. Aby ułatwić klientom zadanie wprowadzone zostały domyślne instrukcje, które znacząco ograniczają ruch w sklepie generowany przez roboty:

• Parametr: Crawl-delay: 2 → ogranicza częstotliwość wywołania strony przez 1 robot do 2 sekund (maksymalnie co 2 sekundy), można go zmienić np. do 10 sekund dla wybranego robota;
• Parametry: Disallow dla mało istotnych robotów.

Jak wygląda struktura pliku robots.txt?

User-agent: * 
...
Disallow: */create_rss/*  → na początku pliku zawsze automatycznie generowane są reguły blokujące indeksowanie stron systemowych tj. panel klienta, koszyk, formularze (np. rejestracji) 
 
Disallow: *?*red=0*
Disallow: *?q=*
Disallow: *?at[*
Disallow: *?pr=*
Disallow: */sort:*
Disallow: */0,*
Disallow: /s?q=*
Disallow: /s/

• Powyższy fragment generowany jest gdy zablokujemy dostęp robotom do wyszukiwarki (wyniki wyszukiwania nie są indeksowane). Ustawienie znajdziesz w Ustawienia Konfiguracja sklepu Antyspam .
• Następnie wstawiana jest dodatkowa treść pliku robots.txt, wprowadzona przez administratora sklepu w Ustawienia SEO Preferencje (pole Dodatkowa zawartość pliku robots.txt)

User-agent: OmniExplorer_Bot
Disallow: /   
User-agent: YetiBOT
Disallow: /
User-agent: BUbiNG
Disallow: /
User-agent: nekstbot
Disallow: /
User-agent: findxbot
Disallow: /
User-agent: rogerbot
Disallow: /
User-agent: PetalBot
Disallow: /
User-agent: Facebot
Crawl-delay: 10

Na końcu pliku automatycznie generowana jest blokada mało istotnych robotów.