§Что это?
Инструмент для генерации файла robots.txt (правила для User-Agent, sitemap, блокировка AI-краулеров) и проверки уже существующего robots.txt на типичные ошибки.
§Возможности
- Пресеты — разрешить всё, запретить всё, WordPress SEO, блок AI-краулеров, e-commerce, SPA.
- Правила User-Agent — Allow/Disallow по путям, опционально Crawl-delay.
- Sitemaps — один или несколько URL sitemap.
- Проверка — вставьте текст robots.txt и получите замечания по структуре (всё в браузере).
§Когда использовать
При запуске сайта, смене правил обхода или блокировке ботов для обучения ИИ. Файл размещается в корне сайта как robots.txt.
§См. также
- Генератор Clean-param - Инструмент для создания директивы Clean-param для Яндекса.
