Файл robots.txt для WordPress

Внутренняя оптимизация

robots.txt для wordpressПриветствую вас, дорогие читатели моего блога! Сегодня я хочу рассказать о том, как составить файл robots.txt для WordPress. Через файл robots.txt вы можете контролировать индексацию своего блога, закрывать от поисковых систем дублирующий или не нужный контент, для этого необходимо поместить правильно составленный robots.txt в корневую директорию блога перед добавлением его в поисковые системы.

  Закрыть от индексации, следует такие страницы:

  • админ панель блога, страницы регистрации/авторизации, восстановления пароля, личный кабинет;
  • комментарии на отдельных страницах;
  • страницы с плагинами, темами;
  • редиректы;
  • трекбеки;
  • RSS-фиды;
  • Поиск

 Также в файле необходимо указать главное зеркало и путь к карте сайта sitemap.xml, собственно, эти манипуляции обязательны для файла robots.txt не только сайтов на WordPress.

 Для создания правильного файла robots.txt для WordPress можно применить следующий шаблон:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: */trackback
Disallow: */comments
Disallow: */comment-page
Disallow: */trackback/
Disallow: */feed
Disallow: *?feed=
Disallow: /?s=
Sitemap: http://ваш-сайт/sitemap.xml
Host: ваш-сайт

Отсюда следует, что файл robots.txt позволяет исключить из индекса не нужные страницы и управлять индексацией блога на cms WordPress.

 

Комментарии закрыты.


Яндекс.Метрика
SEO блог - поисковая оптимизация и продвижение сайтов. © 2013-2016 Все права защищены.