Минимальный robots.txt для типичного сайта на WordPress. Закрывает от индексации:
- страницы входа и регистрации (
wp-login.php,wp-register.php); - служебные каталоги
wp-admin,wp-includes,wp-content— но оставляет открытыми загруженные картинки, CSS и JS, без которых поисковик не сможет отрисовать страницу; - RSS-ленты, трекбеки и комментарии — дубли основного контента;
- адреса с GET-параметрами (
/*?*) — сортировки, фильтры, utm-метки; - вложенные страницы рубрик (
/category/*/*).
§Код
| |
§Перед использованием
- Замените
website.kzна свой домен. Disallow: /*?*убирает из индекса все URL с параметрами. Для Яндекса аккуратнее использоватьClean-param— его можно собрать в конструкторе Clean-param.- Проверить итоговый файл можно в генераторе и валидаторе robots.txt.