Что же за файл такой robots.txt и почему он так важен? В этой статье мы разберемся и сами создадим правильный файл robots.txt для WordPress.

  1. Что за robots.txt такой и зачем он нужен?
  2. Правильный robots.txt для сайта WordPress
  3. Проверяем robots.txt в Яндекс Вебмастер и Google Search Console

 

Для чего нужен robots.txt

robots.txt — это простой текстовый файл на хостинге в корне вашего сайта . Файл-то простой, а вот инструкции которые в нем описаны могут испугать неподготовленный глаз. Но обо всем по порядку.

Файл этот нужен для того чтобы сообщить ПС(поисковые системы — google, yandex, bing…) какие страницы можно индексировать на вашем сайте. Важно чтобы ПС не сканировали внутренние страницы, такие как панель администратора и личные кабинеты пользователей, иначе в сеть могут «утечь» конфиденциальные данные(ФИО, номера телефонов, банковские счета и т.д.) — мы ведь этого не хотим, верно?

 

Правильный файл robots.txt для сайта WordPress

Ниже приведен пример файла robots.txt для сайта WordPress.

Для использования на вашем сайте:

  1. Замените site.ru в директиве Host, на URL вашего сайта.
  2. Замените site.ru в директиве Sitemap, на URL вашего сайта и  укажите адрес до файла sitemap.xml если он отличается.
  3. Добавьте в файл robots.txt вручную или с использованием плагинов WordPress(читайте ниже).

 

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /comments
Disallow: */trackback
Disallow: */embed
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=
Host: site.ru
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /comments
Disallow: */trackback
Disallow: */embed
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=
Sitemap: http://site.ru/sitemap.xml

 

Как добавить или заменить файл robots.txt на сайте WordPress?

Есть несколько вариантов редактирования файла robots.txt.

Ручной способ:

Заходим через FTP в папку с вашим сайтом на хостинге, находим и редактируем файл robots.txt или создаем новый если его нет.

C помощью плагинов:

В плагине Yoast SEO есть возможность редактирования файлов robots.txt и .htaccess. Это очень удобно, так как не нужно лишний раз подключатся на сайт по FTP.

Переходим SEO -> Инструменты -> Редактор файлов и видим такое окно(если файла robots.txt нет, вы увидите кнопку создать файл)

robots.txt для wordpress

Вносим изменения, сохраняем и радуемся, что наши секретные данные не утекут в поиск Яндекса или Google.

Ах да, еще не все. Нужно ведь добавить файл в консоли поисковиков — как это сделать читаем ниже.

 

Проверяем robots.txt в Яндекс Вебмастер и Google Search Console

Для этого нам нужно сначала зарегистрировать сайт WordPress в консоли Яндекса и Google, если сайт уже там, просто проверяем наш файл robots.txt.

Для Google Search Console:

  1. Переходим по адресу https://www.google.com/webmasters/tools/ и выбираем наш сайт
  2. Дальше меню слева Сканирование -> Инструмент проверки файла robots.txt
  3. Ошибок нет, поздравляю, можно идти пить кофе… есть конфетки… 🙂

Google Search Console robots.txt

Для Яндекс Вебмастер:

  1. Переходим по адресу https://webmaster.yandex.ru и выбираем наш сайт
  2. Дальше меню слева Инструменты -> Анализ robots.txt
  3. Проверяем наш файл robots.txt на ошибки. Здесь же можно проверить разрешенные URL, что довольно удобно.
  4. Ошибок нет, поздравляю, можно идти пить пиво… есть чипсики… гладить кота… 🙂

 

Понравилась статья, помогла? Напиши в комментарии! Покорми Васяна! 😉

Васян классный