Velké weby a e-shopy s tisíci až miliony URL adres řeší opakující se problém. Spidery a prohledávače webu, takzvaní roboti, jim nevěnují neomezený čas ani neomezený počet požadavků, a pokud tento čas tráví procházením zbytečné části webu, na skutečně důležitý obsah se dostanou později nebo vůbec. Pravidla procházení tak, aby roboti nemuseli navštěvovat stránky, které pro indexaci nemají žádnou hodnotu, pomáhá nastavit generátor robots.txt – vyzkoušet si ho můžete zde. Co crawl budget u rozsáhlých webů znamená, kde se nejčastěji plýtvá a jak správně nastavený robots.txt tento problém řeší? To si řekneme v následujícím článku.
Co je crawl budget a proč u malých webů nehraje roli
Crawl budget označuje množství požadavků, které je vyhledávač ochoten k danému webu v určitém období vynaložit. U menšího webu s pár desítkami stránek tento limit prakticky nehraje roli, protože roboti projdou celý obsah bez problému během krátké doby.
U e-shopu s desítkami tisíc produktů, variantami, filtry a stránkováním výpisů to je jinak. Pokud roboti opakovaně navštěvují stránky bez unikátního obsahu, spotřebovávají tím kapacitu, která by jinak patřila novým produktům či aktualizovaným kategoriím.
Vyhledávač si přitom velikost webu i frekvenci procházení upravuje postupně, takže plýtvání se neprojeví hned, spíš se s časem prohlubuje.
Kde velké weby nejčastěji crawl budgetem plýtvají
Nejvíc škody v tomto směru nadělají parametrizované URL adresy vznikající při filtrování a řazení výpisu produktů. Jeden produkt tak může existovat pod desítkami různých adres lišících se jen pořadím parametrů, přitom obsahově jde o identickou stránku.
Podobně funguje košík, přihlašovací formulář, interní vyhledávání či tiskové verze stránek, jejichž výsledky nemají pro vyhledávač žádný informační přínos. Přidat lze i testovací a staging prostředí, které si provozovatel občas zapomene z procházení vyjmout. (V této souvislosti doporučujeme seznámit se i s dalšími nejčastějšími chybami při indexaci stránek).
Bez zásahu do procházení roboti tyto adresy navštěvují znovu a znovu, zatímco skutečně nový obsah čeká na svou řadu.
Rozdíl mezi robots.txt a meta tagem noindex
Robots.txt umožňuje tyto skupiny adres vyloučit z procházení už na úrovni celé cesty, což se liší od meta tagu noindex. Noindex totiž stránku nechá navštívit, jen ji následně nezařadí do výsledků, takže crawl budget stále spotřebovává.
Zápis v robots.txt naopak roboty od návštěvy dané cesty odradí ještě předtím, než na ni vůbec vstoupí. U rozsáhlých struktur, kde se stejný vzor URL opakuje tisíckrát, jeden řádek v souboru ušetří výrazně víc kapacity než postupné doplňování noindexu na každou jednotlivou stránku.
Riziko ruční úpravy u rozsáhlé struktury webu
Ruční úprava souboru u rozsáhlého webu s sebou nese riziko, že se omylem zablokuje i část obsahu, který má být indexovaný. Chybně zapsaná cesta nebo záměna symbolů dokáže vyřadit celou kategorii produktů, aniž by si toho provozovatel hned všiml, a odhalení takové chyby pak trvá i několik týdnů. Je tudíž třeba nastavit přehledná pravidla podle jednotlivých sekcí webu a snížit tak riziko podobného přehlédnutí.
Dopad na rychlost indexace nových produktů
Uvolněná kapacita procházení se projeví hlavně u čerstvě zveřejněného obsahu. Pokud roboti přestanou navštěvovat tisíce nadbytečných adres, zbývající kapacitu věnují novým produktovým stránkám, upraveným popiskům či aktualizovaným kategoriím.
U sezónního zboží, kde záleží na tom, jak rychle se produkt objeví ve výsledcích, se tento rozdíl projeví přímo na tržbách. Menší e-shopy tuto výhodu obvykle nepocítí, protože jejich celkový počet URL adres zůstává pod hranicí, kde by crawl budget začal limitovat rychlost zpracování.
Pravidelná kontrola je třeba
Nastavení robots.txt nemá u rozsáhlého webu smysl řešit jednorázově. Struktura e-shopu se v čase proměňuje, přibývají nové kategorie, filtry i technická řešení od dodavatelů, a s nimi i nové vzory URL adres, které stojí za zvážení vyloučit. Pravidelná kontrola souboru pomocí nástrojů pro testování procházení ukáže, zda vyhledávač zadaná pravidla respektuje, případně kde se objevuje nová skupina adres, kterou stojí doplnit. Bez této údržby se efekt nastavení postupně vytrácí a plýtvání crawl budgetem se pomalu vrací zpátky na původní úroveň.
Různá pravidla pro různé roboty
Robots.txt nerozlišuje jen mezi povoleno a zakázáno pro celý web, ale umožňuje nastavit odlišná pravidla pro jednotlivé roboty podle jejich identifikace. U rozsáhlého webu to znamená, že hlavní vyhledávací robot může procházet jiný rozsah adres než roboti specializovaných nástrojů pro monitoring cen či analytiku třetích stran. Tato možnost se hodí i tam, kde provozovatel nechce omezovat indexaci v hlavním vyhledávači, ale zároveň potřebuje omezit zátěž serveru způsobenou méně důležitými roboty. U webu s vysokou návštěvností se totiž zbytečné požadavky od desítek různých robotů projeví i na výkonu serveru, nejen na crawl budgetu v úzkém slova smyslu.
Investovaný čas se u rozsáhlých webů vrací
Správně nastavený robots.txt tak u rozsáhlých webů a e-shopů rozhoduje o tom, jak rychle se nový nebo upravený obsah dostane do výsledků vyhledávání. Omezení procházení nepodstatných částí webu uvolní kapacitu pro stránky, které o návštěvnost skutečně usilují, a tento efekt roste úměrně s velikostí webu. U menších projektů jde spíš o technickou pojistku, u rozsáhlých struktur s desetitisíci URL adresami se tento úkon naopak stává jedním z rozhodujících faktorů celkové viditelnosti.
