Ошибки в robots.txt на WordPress приводят к потере до 30% краулингового бюджета, когда боты индексируют тысячи бесполезных страниц пагинации и системных запросов вместо конверсионных страниц. Правильный файл — это не стандартный шаблон, а инструмент управления приоритетами обхода сайта.
Базовый синтаксис и критические ошибки WordPress
Многие владельцы сайтов используют стандартный robots.txt, который допускает индексацию папки /wp-includes/. Это ошибка: там находятся JS и CSS файлы, которые Googlebot обязан видеть для корректного рендеринга страницы. Блокировка этих ресурсов может привести к падению позиций по мобильному поиску (Mobile-First Indexing) на 10-15% из-за ошибки «Страница не соответствует стандартам доступности».
Важный нюанс: директива Disallow: /wp-admin/ обязательна, но она не заменяет мета-тег noindex для страниц личного кабинета. Практика показывает, что при отсутствии запрета в robots.txt, системные страницы входа могут забивать индекс сайта на 2-3%, создавая дубли.
Экспертный вывод: Никогда не закрывайте /wp-includes/ и /wp-content/ полностью. Разрешайте доступ к статике, иначе вы получите «слепой» рендеринг и просадку в выдаче.
Оптимизация краулингового бюджета: что закрыть
Для сайтов с количеством страниц более 500 критически важно ограничить обход мусорных URL. В WordPress это прежде всего параметры поиска (?s=) и страницы тегов, если они не прорабатываются семантически. Кейс: на интернет-магазине с 2000 товаров удаление из индекса страниц фильтрации через robots.txt сократило количество проиндексированных страниц с 12 000 до 2 200 за 2 недели, что ускорило переиндексацию новых товаров в 3 раза.
- Disallow: /wp-json/ — закрываем API, если не используем headless-решения.
- Disallow: /comments/feed/ — отсекаем фиды комментариев, которые создают тысячи дублей.
- Disallow: /?s= — блокируем внутренний поиск.
Экспертный вывод: Если ваш сайт меньше 100 страниц, детальная настройка не даст ощутимого прироста. Но при объеме 1000+ URL — это обязательный этап SEO оптимизации сайтов на WordPress для ускорения индексации приоритетных разделов.
Конфликт robots.txt и мета-тега noindex
Распространенное заблуждение: закрыть страницу в robots.txt, чтобы она исчезла из поиска. На самом деле, если страница уже в индексе и на нее ведут внешние ссылки, Google оставит ее в выдаче с пометкой «Информация о странице отсутствует», так как бот не может зайти и увидеть тег noindex. Чтобы полностью удалить страницу из поиска, ее нужно сначала открыть в robots.txt, добавить meta name="robots" content="noindex" и дождаться переобхода.
Сравнение: закрытие через robots.txt экономит ресурсы сервера (снижает нагрузку на CPU на 5-7% при интенсивном сканировании), но не гарантирует удаление из индекса. Тег noindex гарантирует удаление, но требует расхода краулингового бюджета на обход.
Экспертный вывод: Используйте robots.txt для управления трафиком ботов, а noindex — для управления составом индекса. Смешивание этих функций ведет к «зависанию» мусорных страниц в выдаче на месяцы.
Sitemap и Host: актуальные нормы 2024
Директива Host давно игнорируется Google и Яндексом, ее добавление не приносит пользы, но и не вредит. Главный фокус сейчас — корректный путь к XML-карте сайта. В WordPress при использовании плагинов типа Yoast или RankMath карта генерируется динамически. Ошибка в одну букву в ссылке sitemap.xml приводит к тому, что новые статьи индексируются не за 1-2 часа, а за 3-7 дней.
Пример: запись Sitemap: https://site.ru/sitemap_index.xml должна стоять в конце файла. Это сокращает время обнаружения новых URL ботом на 20-30%, так как поисковик сразу видит структуру всех подразделов.
Экспертный вывод: Проверяйте доступность карты сайта через инструмент «Проверка robots.txt» в Google Search Console. Если статус не 200 OK — ваши усилия по контенту работают вполсилы.
Вывод
Идеальный robots.txt для WordPress — это баланс между запретом системного мусора (/wp-admin/, поиск, фиды) и полным доступом к статике (/wp-content/themes/, /wp-content/plugins/). Начинайте с базового запрета админки и поиска, затем анализируйте отчет «Индексирование» в панели вебмастера: если видите тысячи URL с параметрами — закрывайте их точечно. Избегайте полной блокировки /wp-includes/ и не пытайтесь удалить страницы из индекса через robots.txt — используйте для этого noindex.