Zákaz indexace stránky se může nastavit vícero způsoby. Zdánlivě vypadají noindex, robots.txt i heslo jako tři varianty téhož. Ve skutečnosti každá řeší jiný problém a jejich záměna vede k tomu, že se stránka ve výsledcích objeví, přestože jste ji chtěli skrýt. Jak tedy spolehlivě oddělit veřejný obsah od toho, co do vyhledávání nepatří?
Proč se procházení a indexace tak často zaměňují
Vyhledávač pracuje tak, že nejdřív robot stránku navštíví a přečte její obsah, tomu se říká procházení. Teprve potom vyhledávač rozhodne, jestli stránku uloží do svého indexu a bude ji zobrazovat ve výsledcích.
Celý zmatek pramení z toho, že každá metoda zasahuje do jiného kroku. Robots.txt řídí procházení, noindex řídí indexaci a heslo zabrání přístupu úplně. Může se přitom stát, že vícero nastavení se navzájem vyruší.
3 způsoby, jak zakázat indexaci
Noindex v meta značce či v HTTP hlavičce
Noindex je pokyn, který robotovi říká, že stránku smí přečíst, nesmí ji však zařadit do výsledků. Vkládá se jako meta značka robots do hlavičky HTML, u souborů bez HTML (PDF, obrázky, video) pak jako hlavička X-Robots-Tag v odpovědi serveru.
Noindex funguje jen tehdy, když ho robot uvidí. Po jeho přidání proto musíte počkat na další návštěvu robota, což může trvat u méně důležitých stránek i několik měsíců.
Ověřte si také, že značka v kódu skutečně zůstala. Při úklidu šablon se snadno stane, že ji spolu s dalšími zbytky omylem odstraníte. Jak z kódu bezpečně odstranit nepotřebné části a zachovat funkční značky, popisuje zvlášť článek o tom, co umí a jak používat HTML čistič.
Noindex respektuje Google i další velké vyhledávače, vykládat si jej ale každý z nich může různě. Pokud vám záleží na všech vyhledávačích, ověřte výsledek v každém z nich zvlášť.
Robots.txt pro řízení procházení
Soubor robots.txt v kořenovém adresáři webu určuje, které části webu smí robot procházet. Hodí se pro šetření kapacity procházení, například u filtrů v e-shopu, interního vyhledávání či nekonečných kombinací parametrů v adrese.
Zákaz procházení ovšem neznamená zákaz indexace. Pokud na blokovanou adresu vedou odkazy z jiných stránek, vyhledávač ji do výsledků zařadit dokáže, jen bez popisku a obsahu.
Pozor také na to, že robots.txt si přečte kdokoli. Uvedením tajné cesty v souboru ji tak paradoxně prozradíte. Správně sestavený soubor připravíte rychle, pokud pro vytvoření robots.txt použijete třeba volně dostupný online generátor.
Heslo chrání obsah nejlépe
Přihlášení heslem na úrovni serveru zabrání robotům i lidem v přístupu k obsahu. Vyhledávač se ke stránce vůbec nedostane, takže ji nemá jak indexovat. Tato metoda je jediná, která obsah opravdu uzamkne natvrdo, nikoli jen formou doporučení.
Heslo patří především na testovací a vývojové verze webu, interní dokumenty a klientské sekce. Noindex i robots.txt jsou jen pokyny, které „slušní“ roboti respektují. Ostatní programy je ignorovat mohou.
Nejčastější omyl při kombinaci noindex a robots.txt
Mnoho správců webů v dobré víře nastaví obojí najednou. Stránku zablokují v robots.txt a pro jistotu do ní vloží noindex. Výsledek je opačný, než čekají. Robot stránku kvůli robots.txt nenavštíví, noindex proto nikdy nepřečte a adresa může ve výsledcích zůstat dál.
Postup pro stránku, která se do indexu už dostala, je proto jasný. Nejdřív nechte robota stránku projít a přečíst noindex. Teprve po jejím vyřazení z výsledků případně zablokujte procházení.
Který způsob zvolit pro konkrétní situaci
- Košík, účet zákazníka a děkovací stránky označte značkou noindex. Robot je projde, ale nezobrazí je ve výsledcích.
- Filtry, řazení a interní vyhledávání s tisíci kombinací adres řešte v robots.txt. Ušetříte kapacitu procházení pro důležité stránky.
- PDF ceníky a další soubory skryjte pomocí hlavičky X-Robots-Tag, protože do nich meta značku vložit nelze.
- Testovací verzi webu a interní dokumenty chraňte heslem. Žádná jiná metoda nezaručí, že se obsah nedostane ven.
- Stránku, která se do výsledků dostala omylem, nejdřív označte noindexem a ponechte ji přístupnou pro procházení. Blokaci v robots.txt přidejte až po jejím vyřazení.
Jak zjistit, že zákaz funguje
Výsledek nastavení je samozřejmě potřeba zkontrolovat. U jednotlivých stránek pomůže nástroj pro kontrolu adres v Google Search Console, který ukáže, jestli robot noindex zaznamenal a zda adresu blokuje robots.txt. Přehled indexování stránek pak odhalí celé skupiny adres vyřazených z indexu.
Pokud potřebujete stránku z výsledků skrýt okamžitě, použijte nástroj pro dočasné odstranění. Ten ji skryje zhruba na šest měsíců, mezitím ale musí začít platit trvalé řešení.
Zvýšenou pozornost věnujte spuštění nového webu. Testovací verze mívá noindex či heslo nastavené plošně a při přenosu na ostrou doménu se na jejich odstranění snadno zapomene. Jediná přehlédnutá značka v šabloně tak dokáže vyřadit z výsledků celý web.
Tři nástroje pro jeden cíl
Robots.txt tedy řídí procházení, noindex rozhoduje o zařazení do výsledků a heslo zamyká obsah úplně. Pozor na situace, kdy se oba pokyny navzájem vyruší. Díky tomuto článku už ale víte, jak postupovat u stránky, která do indexu pronikla omylem.
Před dalším nasazením si u každé skryté části webu zodpovězte, co přesně chcete zakázat. Podle toho zvolte nástroj a výsledek po několika týdnech ověřte ve vyhledávači.