Генератор и валидатор robots.txt

Что это?

Инструмент для генерации файла robots.txt (правила для User-Agent, sitemap, блокировка AI-краулеров) и проверки уже существующего robots.txt на типичные ошибки.

Возможности

• Пресеты — разрешить всё, запретить всё, WordPress SEO, блок AI-краулеров, e-commerce, SPA.
• Правила User-Agent — Allow/Disallow по путям, опционально Crawl-delay.
• Sitemaps — один или несколько URL sitemap.
• Проверка — вставьте текст robots.txt и получите замечания по структуре (всё в браузере).

Когда использовать

При запуске сайта, смене правил обхода или блокировке ботов для обучения ИИ. Файл размещается в корне сайта как robots.txt.

См. также

• Генератор Clean-param - Инструмент для создания директивы Clean-param для Яндекса.