Блокировка «левых» роботов в robots.txt
Большой список SEO-краулеров, парсеров и устаревших ботов, которым запрещена индексация через robots.txt: SemrushBot, AhrefsBot, MJ12bot и …
Читать
Начните вводить запрос — ищу по названиям, описаниям, тексту и тегам. Esc закрывает поиск.