Минимальный robots.txt для типичного сайта на WordPress. Закрывает от индексации:

  • страницы входа и регистрации (wp-login.php, wp-register.php);
  • служебные каталоги wp-admin, wp-includes, wp-content — но оставляет открытыми загруженные картинки, CSS и JS, без которых поисковик не сможет отрисовать страницу;
  • RSS-ленты, трекбеки и комментарии — дубли основного контента;
  • адреса с GET-параметрами (/*?*) — сортировки, фильтры, utm-метки;
  • вложенные страницы рубрик (/category/*/*).

§Код

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Allow: /wp-content/uploads/
Allow: /wp-*/*.css
Allow: /wp-*/*.js
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Allow: /wp-content/uploads/
Allow: /wp-*/*.css
Allow: /wp-*/*.js
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

Sitemap: https://website.kz/sitemap.xml

§Перед использованием