Чтобы исключить все возможные проблемы с индексацией вашего сайта, нужно обязательно правильно составить и заполнить robots.txt. Это очень важный файл, который создается собственноручно вебмастером для управлением индексацией отдельных категорий и страниц сайта.
Эта статья входит в цикл материалов про внутреннюю оптимизацию сайта. Вместе с ней также будет полезно почитать правильную структуру сайта.
В сети написано немало информации про этот must-have файл каждого сайта, поэтому я не буду расписывать здесь то, что уже давно написано и вряд ли изменилось с тех пор (лучше Яндекса никто не расскажет). Вам важно понимать, что этот файл нужен для того, чтобы закрыть от индексации ПС всякий ненужный мусор, который генерируется WP. Итак, без лишних слов даю вам то, что нужно для отличной индексации.
Файл robots.txt для WordPress
Сразу хочу заметить, что файл этот дорабатывался мною годами и проверен на личном опыте и более 30-ти сайтах. Поэтому зуб даю, что он вам точно не навредит. Но также имейте ввиду, что это стандартный вариант и для нетипичных сайтов или блогов его придется доработать. Но таких сейчас почти нет и если вы новичок, то можете не брать это в расчет.
Также перед публикацией этого файла я специально прошелся по популярным блогам и глянул на их Robots.txt. Результат всего вышесказанного можете наблюдать чуть ниже.
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /author/
Disallow: /feed
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /tag/
Disallow: /page/
Disallow: */comments/
Disallow: */comment-page-*
Disallow: */trackback/
Allow: /wp-content/uploads/
Host: whiteprofit.ru
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /author/
Disallow: /page/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /tag/
Disallow: */comment-page-*
Disallow: /webstat/
Disallow: /?feed=
Disallow: /?s=
Disallow: /trackback
Disallow: /*?*
Disallow: /*?
Disallow: /comments
Sitemap: https://whiteprofit.ru/sitemap.xml
Кстати, не забудьте поменять URL на свой в директивах Host и Sitemap. Этот файл я применяю на всех сайтах и отлично себя чувствую. Здесь закрыты всевозможные страницы, скрипты и другие ненужности, генерируемые движком.
Объяснять все подробно думаю нет смысла, вам ведь лениво будет все читать. Да и зачем это делать, когда нужно просто копировать данный кусок куда и вставить в свой robots.txt, а потом залить его в корневую папку сайта.
Если будут вопросы или доработки, то обязательно пишите в комментариях. А пока можете добавить свой роботос в панель вебмастера от Я и Г для спокойствия.
Источник: