1С-Битрикс генерирует много служебных URL: отладочные параметры (show_include_exec_time, clear_cache), авторизацию, сравнение, сортировки и фильтры каталога. Все они плодят дубли страниц. Этот robots.txt закрывает типовые служебные адреса ядра и магазина.
§Код
| |
§Перед использованием
- Замените домен в директиве
Sitemapна свой. - Сверьте разделы со структурой сайта. Например,
/personal/и*/order/закрывают личный кабинет и оформление заказа — если у вас по этим адресам лежат полезные страницы, уберите правила. - После правок проверьте файл в валидаторе robots.txt и в Яндекс Вебмастере.