Jak správně nastavit robots.txt a sitemap.xml pro lepší indexaci
Soubory robots.txt a sitemap.xml patří mezi základní prvky technického SEO. Oba pomáhají vyhledávačům pracovat s webem, každý však plní jiný úkol. Robots.txt určuje, které části stránky mohou roboty prohledávat, zatímco sitemap.xml jim poskytuje seznam důležitých adres URL, které by měly objevit a zpracovat.
Správné nastavení může Googlu usnadnit práci s rozsáhlým nebo technicky komplikovaným webem. Samotné vytvoření souborů však nezaručí zařazení stránek do výsledků vyhledávání. Na kvalitní indexaci ovlivňuje také obsah, technický stav, interní odkazy a celková SEO kampaň.
Jak nastavit robots.txt a sitemap.xml bez technických chyb
Soubor robots.txt musí být dostupný v kořenovém adresáři domény, například na adrese https://www.domena.cz/robots.txt. Pomocí příkazů User-agent, Disallow a Allow lze určit, které části webu mohou vyhledávací roboty prohledávat. Blokovat se obvykle vyplatí interní vyhledávání, administrační sekce, technické URL nebo stránky vytvořené zbytečnými parametry. Důležité soubory CSS, JavaScript a obrázky potřebné pro správné vykreslení webu by měly zůstat přístupné.
Robots.txt však není vhodný nástroj pro odstranění obsahu z výsledků Google. Zablokovanou URL může vyhledávač objevit prostřednictvím odkazů a za určitých okolností ji zobrazit bez podrobného popisu. Pokud stránka nemá být indexována, vhodnějším řešením je pokyn noindex, odstranění stránky nebo ochrana přístupu. Robotovi přitom nesmí robots.txt bránit v načítání stránky, jinak pokyn noindex neuvidí.
Které stránky zařadit do XML mapy webu
Sitemap.xml by měla obsahovat pouze kanonické, dostupné a indexovatelné URL adresy, které mají význam pro návštěvníky i vyhledávače. Neměly by se v ní nacházet přesměrování, chybové stránky, duplicity, URL zablokované v robots.txt ani obsah označený jako noindex. U pravidelně aktualizovaných stránek lze uvést údaj lastmod, který by měl odpovídat skutečné změně obsahu.
Odkaz na mapu webu je vhodné vložit také do robots.txt ve tvaru Sitemap: https://www.domena.cz/sitemap.xml. Následně ji lze odeslat prostřednictvím Google Search Console. U větších webů se používá více XML map spojených do jednoho sitemap indexu. XML mapa však zůstává pouze pomůckou – Google nemusí automaticky prohledat ani indexovat všechny uvedené URL. Proto je třeba pracovat i na širší viditelnosti webové stránky.
Jak kontrolovat indexaci a předcházet chybám
Častou chybou je ponechání pravidla Disallow:/, které zablokuje prohledávání celého webu. Stává se to zejména po přesunu stránky z testovacího prostředí do ostrého provozu. Problém vzniká také tehdy, když sitemap.xml doporučuje Google URL adresy, ke kterým robots.txt zároveň zakazuje přístup. Vyhledávač tak dostává protichůdné technické signály.
Nastavení je třeba kontrolovat po migraci, změně domény, úpravě struktury URL nebo nasazení nového redakčního systému. V Google Search Console lze sledovat stav XML mapy, důvody neindexování a dostupnost konkrétních stránek. Pravidelná technická kontrola patří mezi základní tipy, jak zlepšit SEO. Správně nastavené robots.txt a sitemap.xml sice nenahradí kvalitní obsah, ale pomáhají vyhledávačům efektivněji objevovat a zpracovávat důležité části webu.
