Генератор и валидатор robots.txt
Создаёт и проверяет правила robots.txt для поисковых и AI-ботов, sitemap и служебных разделов сайта.
Создаёт и проверяет правила robots.txt для поисковых и AI-ботов, sitemap и служебных разделов сайта.
Собирает .htaccess для Apache из готовых правил и создаёт файл паролей .htpasswd с хешами bcrypt или apr1.
Собирает директивы Clean-param для robots.txt из готовых групп параметров (UTM, Метрика, Директ, CMS) и ваших собственных. Яндекс перестанет …
Переводит русский текст или заголовок в латиницу для URL: транслитерация, нижний регистр, дефисы вместо пробелов и без лишних символов.
Убирает noindex и nofollow из мета-тега robots, даже если их добавили тема, SEO-плагин или настройка «Попросить поисковые системы не …
Стартовый robots.txt для сайта на WordPress: закрывает служебные разделы, ленты, трекбеки и URL с параметрами.
Большой список SEO-краулеров, парсеров и устаревших ботов, которым запрещена индексация через robots.txt: SemrushBot, AhrefsBot, MJ12bot и …
Стартовый robots.txt для 1С-Битрикс: закрывает служебные каталоги ядра, отладочные параметры, авторизацию, сортировки, фильтры и корзину.
HTML-разметка постраничной навигации с микроданными SiteNavigationElement и ListItem: номера страниц и ссылки «назад/вперёд» с …
Начните вводить запрос — ищу по названиям, описаниям, тексту и тегам. Esc закрывает поиск.