Как запретить индексацию отдельных страниц в WordPress через robots, noindex и meta robots

В WordPress часто нужно закрыть от индексации не весь сайт, а только конкретные страницы: результаты поиска, архивы автора, служебные разделы, внутренние фильтры, страницы тегов с мусорным трафиком или тестовые записи. Если сделать это грубо, можно случайно убрать из поиска нужные URL или оставить в индексе копии, которые потом мешают SEO.

Ниже — рабочая схема: чем отличается noindex от robots.txt, как поставить запрет точечно, как проверить результат и какие ошибки встречаются чаще всего.

Что именно нужно закрывать от индексации

Сначала стоит разделить страницы на две группы. Первая — действительно служебные: поиск по сайту, страницы пагинации в некоторых сценариях, внутренние фильтры, результаты сортировки, страницы входа, корзина и оформление заказа, если это не публичный контент. Вторая — контентные страницы, которые сами по себе полезны, но не должны конкурировать с основными посадочными: архивы тегов, авторские архивы, отдельные таксономии, страницы с параметрами.

Если закрыть не ту группу, последствия разные. robots.txt запрещает обход, но не гарантирует удаление URL из индекса, если на него уже есть ссылки. noindex работает именно на уровне индексации, но поисковику нужно дать возможность увидеть страницу и прочитать мета-тег или заголовок ответа.

Когда достаточно robots.txt

robots.txt подходит для технических разделов, которые не должны тратить crawl budget и не несут ценности. Например, если у вас есть бесконечные URL с параметрами сортировки или внутренний поиск, который генерирует десятки тысяч комбинаций. Но если страница уже попала в индекс, одного запрета в robots.txt может быть мало.

Когда нужен noindex

noindex нужен там, где страницу можно обойти, но не нужно показывать в выдаче. Это более надежный вариант для архивов, страниц автора, пагинации в некоторых типах сайтов и служебных страниц, которые не стоит полностью прятать от бота.

Диагностика: как понять, что именно мешает индексации

Перед правкой проверьте, что происходит сейчас. Частая ошибка — закрыть страницу в robots.txt, а потом удивляться, что она все еще в поиске. Или наоборот: поставить noindex, но оставить страницу в sitemap и с внутренними ссылками, из-за чего она продолжает активно обходиться.

• Откройте URL в браузере и посмотрите исходный код: есть ли <meta name="robots" content="noindex, nofollow"> или только index, follow.
• Проверьте заголовки ответа сервера: иногда X-Robots-Tag задается на уровне сервера или CDN.
• Посмотрите, есть ли URL в XML-карте сайта.
• Проверьте, не ведут ли на страницу внутренние ссылки из меню, хлебных крошек, блоков похожих записей или фильтров.
• Если страница уже в индексе, проверьте, не дублируется ли она через параметры, архивы или пагинацию.

Для быстрой проверки можно использовать DevTools или curl. Это особенно полезно, если сайт за прокси или CDN и вы не уверены, какой заголовок реально отдает сервер.

curl -I https://example.com/stranitsa/

В ответе ищите X-Robots-Tag, Cache-Control и код ответа. Если страница отдает редирект, сначала разберитесь с ним, а уже потом с мета-тегами.

Пошаговое решение: как закрыть страницу от индексации в WordPress

Есть три нормальных способа: через SEO-плагин, через код в теме или через серверный заголовок. Выбор зависит от того, насколько точечно нужно управлять страницами и кто будет поддерживать сайт дальше.

Вариант 1: через SEO-плагин

Если у вас уже стоит SEO-плагин, это самый безопасный путь для типовых страниц. В Yoast SEO и Rank Math можно задать noindex для конкретной записи, страницы, рубрики или архива. Для редактора это обычно удобнее, чем править код.

Плюс такого подхода в том, что мета-тег попадает в HTML без дополнительных костылей. Минус — если нужно закрывать страницы по сложному условию, например все URL с определенным шаблоном, интерфейса может не хватить.

Вариант 2: добавить noindex программно

Если нужно закрыть, например, страницу поиска или конкретный шаблон архива, можно использовать фильтр wp_robots. Это современный способ управлять robots-мета на стороне WordPress.

<?php
add_filter('wp_robots', function (array $robots) {
    if (is_search() || is_author() || is_page('thanks')) {
        $robots['noindex'] = true;
        $robots['nofollow'] = true;
    }

    return $robots;
});

Этот код можно положить в functions.php дочерней темы или в небольшой mu-plugin. Для production-сайта mu-plugin надежнее: он не зависит от активной темы.

Если нужно закрыть только одну страницу по ID, условие можно сделать точнее:

<?php
add_filter('wp_robots', function (array $robots) {
    if (is_page(42)) {
        $robots['noindex'] = true;
        $robots['nofollow'] = true;
    }

    return $robots;
});

Вариант 3: запрет через заголовок X-Robots-Tag

Этот способ полезен для файлов, архивов или URL, которые не всегда удобно обрабатывать на уровне шаблона. Например, если у вас отдельный endpoint или технический путь, который отдает HTML, но не должен индексироваться.

На уровне PHP можно отправить заголовок до вывода контента:

<?php
add_action('template_redirect', function () {
    if (is_page('internal-search') || isset($_GET['preview_mode'])) {
        header('X-Robots-Tag: noindex, nofollow', true);
    }
});

Важно: заголовок нужно отправлять до любого вывода. Если тема или плагин уже начали печатать HTML, будет предупреждение и заголовок не установится.

Как не сломать полезные страницы

Самая частая проблема — слишком широкие условия. Например, закрыли все архивы автора, а на сайте именно авторские страницы собирают нормальный трафик и помогают E-E-A-T. Или поставили noindex на все страницы категории, хотя часть категорий — это полноценные посадочные.

Поэтому перед внедрением составьте короткий список URL, которые точно должны остаться в индексе. Это не формальность: после автоматического правила проще проверить исключения, чем потом искать, почему упал трафик.

• Главная и ключевые посадочные страницы.
• Страницы категорий, которые реально ранжируются.
• Посты и страницы с уникальным контентом.
• Архивы, которые используются как навигация и приводят трафик.

Проверка результата после внедрения

После изменения не ограничивайтесь просмотром исходника. Нужно проверить и HTML, и ответ сервера, и то, как страница выглядит для поискового бота.

1. Откройте страницу в браузере и убедитесь, что в <head> появился нужный meta robots.
2. Проверьте заголовки через curl -I или инструменты разработчика.
3. Посмотрите, не осталась ли страница в XML sitemap.
4. Проверьте внутренние ссылки: если страница больше не нужна пользователю, уберите на нее навигацию.
5. В Google Search Console запросите повторное сканирование, если URL уже был в индексе.

Если страница закрыта правильно, вы увидите либо noindex в исходнике, либо X-Robots-Tag в заголовках. Но удаление из индекса не происходит мгновенно: поисковику нужно переобойти URL.

Частые ошибки и как их исправить

Закрыли в robots.txt вместо noindex

Это самая распространенная ошибка. Если URL уже известен поисковику, запрет в robots.txt не всегда уберет его из выдачи. Решение: открыть обход, поставить noindex, дождаться переобхода, а потом уже при необходимости ограничивать crawl.

Оставили страницу в sitemap

Если URL помечен как неиндексируемый, но продолжает лежать в карте сайта, вы посылаете поисковику противоречивый сигнал. Решение: исключить такие URL из sitemap на уровне SEO-плагина или фильтра генерации карты.

Сломали пагинацию и архивы

Иногда noindex ставят на все страницы архива, включая первую страницу, хотя нужно закрыть только пагинацию. В итоге из поиска исчезает основная страница раздела. Решение: разделять условия для первой страницы и остальных.

Поставили nofollow без необходимости

nofollow не нужен по умолчанию для всех закрываемых страниц. Если страница служебная, это допустимо, но для многих архивов достаточно noindex, follow. Иначе можно лишний раз ограничить обход внутренних ссылок.

Забыли про кэш

После изменения правила страница может еще какое-то время отдаваться из кэша со старым meta robots. Решение: очистить кэш плагина, серверный кэш и CDN, затем перепроверить ответ.

Практические советы по безопасности и производительности

Если вы закрываете много технических URL, не делайте это вручную в десятках шаблонов. Лучше собрать правила в одном месте: mu-plugin, отдельный мини-плагин или хорошо документированный файл темы. Так проще сопровождать и не потерять логику после обновления.

Для массовых технических страниц иногда разумно комбинировать подходы: noindex для индексации и robots.txt для снижения лишнего обхода. Но сначала убедитесь, что URL не нужен в поиске и не приносит трафик.

Если у вас много дублей, параметров и мусорных архивов, имеет смысл посмотреть в сторону инструментов для технической чистки сайта. Например, в Clearfy Pro есть набор настроек для SEO и удаления лишнего, но применять такие решения нужно после проверки конкретных URL, а не «на всякий случай».

Короткий чек-лист перед публикацией

• Понял, какой именно URL или шаблон закрываю.
• Проверил, не нужен ли этот URL в индексе.
• Выбрал способ: плагин, код или заголовок сервера.
• Убедился, что страница не осталась в sitemap.
• Очистил кэш и перепроверил исходник страницы.
• Сделал повторную проверку через curl или Search Console.

Если нужен точечный контроль без лишней ручной работы, удобнее всего держать логику в коде и проверять ее на конкретных шаблонах. Для типовых задач достаточно SEO-плагина, но как только появляются нестандартные архивы, фильтры и служебные URL, без проверки исходника и заголовков уже не обойтись.