Как исключить AI-страницы из индексации в WordPress через noindex и robots

Автор: Олеся Полякова | Опубликовано: 15.09.2026

Если в WordPress вы генерируете AI-страницы для черновиков, тестов, внутренних подборок или временных публикаций, их лучше сразу вывести из индекса. Иначе они начинают конкурировать с основным контентом, засоряют sitemap и иногда попадают в поиск раньше, чем вы успели их доработать.

Задача здесь не в том, чтобы «спрятать всё подряд», а в том, чтобы управлять видимостью точечно: оставить страницу доступной для редактора и пользователя по прямой ссылке, но запретить её индексацию и убрать из технических источников, где это уместно.

Когда проблема уже есть и как её быстро распознать

Обычно всё выглядит одинаково: в Google Search Console появляются URL с тонким или дублирующимся AI-контентом, в sitemap лежат страницы, которые ещё не готовы, а в поиске всплывают тестовые материалы с шаблонными заголовками. Если у вас есть плагин для генерации контента, проверьте, не публикует ли он страницы сразу в статусе publish и не добавляет ли их в стандартные архивы.

Что проверить в первую очередь

статус публикации у AI-страниц: draft, pending или уже publish;
есть ли у них мета-тег noindex в HTML;
попадают ли они в XML sitemap;
не выводятся ли они в категориях, тегах, поиске сайта и RSS;
не создаёт ли плагин отдельный тип записей, который индексируется по умолчанию.

Если страницы уже в индексе, одного закрытия в robots.txt недостаточно. Поисковик должен увидеть явный сигнал noindex или получить 404/410, если страница больше не нужна. Для временного контента обычно безопаснее именно noindex, а не блокировка обхода.

Пошаговое решение: закрываем AI-страницы без побочных эффектов

Ниже рабочая схема для типичного WordPress-сайта. Она подходит, если AI-контент создаётся как обычные записи, отдельный тип записей или как страницы с определённым шаблоном.

1. Пометьте нужные записи мета-полем

Самый надёжный вариант — хранить признак «не индексировать» в post meta. Тогда вы сможете управлять видимостью точечно, а не по всему типу записей.

<?php
add_action('add_meta_boxes', function () {
    add_meta_box(
        'ai_indexing_box',
        'Индексация AI-страницы',
        function ($post) {
            $value = get_post_meta($post->ID, '_ai_noindex', true);
            wp_nonce_field('ai_indexing_save', 'ai_indexing_nonce');
            echo '<label>';
            echo '<input type="checkbox" name="ai_noindex" value="1" ' . checked($value, '1', false) . '>';
            echo ' Не индексировать эту страницу';
            echo '</label>';
        },
        ['post', 'page'],
        'side'
    );
});

add_action('save_post', function ($post_id) {
    if (!isset($_POST['ai_indexing_nonce']) || !wp_verify_nonce($_POST['ai_indexing_nonce'], 'ai_indexing_save')) {
        return;
    }
    if (defined('DOING_AUTOSAVE') && DOING_AUTOSAVE) {
        return;
    }
    if (!current_user_can('edit_post', $post_id)) {
        return;
    }

    if (!empty($_POST['ai_noindex'])) {
        update_post_meta($post_id, '_ai_noindex', '1');
    } else {
        delete_post_meta($post_id, '_ai_noindex');
    }
});

2. Добавьте noindex в robots meta

Дальше нужно вывести noindex,follow для таких страниц. В WordPress это можно сделать через фильтр wp_robots. Он поддерживается в современных версиях ядра и не требует костылей в шаблоне.

<?php
add_filter('wp_robots', function ($robots) {
    if (is_singular() && get_post_meta(get_queried_object_id(), '_ai_noindex', true) === '1') {
        $robots['noindex'] = true;
        $robots['follow'] = true;
    }

    return $robots;
});

Такой подход лучше, чем править header.php вручную: он переживает смену темы и не ломается при обновлениях.

3. Уберите AI-страницы из sitemap

Если у вас используется стандартный XML sitemap WordPress, можно исключить записи через фильтр wp_sitemaps_posts_query_args. Это полезно, когда AI-контент не должен попадать в карту сайта до финальной редакторской проверки.

<?php
add_filter('wp_sitemaps_posts_query_args', function ($args, $post_type) {
    if ($post_type === 'post' || $post_type === 'page') {
        $args['meta_query'][] = [
            'key'     => '_ai_noindex',
            'compare' => 'NOT EXISTS',
        ];
    }

    return $args;
}, 10, 2);

Если AI-контент выводится отдельным типом записей, фильтр нужно адаптировать под его имя. Логика та же: не включать в sitemap то, что вы не хотите ускоренно отдавать поисковику.

4. Не дублируйте закрытие в robots.txt

robots.txt можно использовать только как дополнительную меру, но не как единственный способ. Если вы закроете URL в robots.txt раньше, чем поисковик увидит noindex, страница может остаться в индексе без возможности переобхода. Для уже проиндексированных страниц это плохой сценарий.

Если всё же нужен robots.txt для служебных директорий, ограничьтесь техническими путями, а не страницами контента.

Если AI-контент создаёт плагин WPGPT

Когда генерация идёт через WPGPT, удобнее сразу встроить правило в редакционный процесс: генерировать материал в черновик, а флаг noindex ставить до публикации. Это особенно полезно для массовых сценариев, когда контент создаётся пачками и не должен попадать в поиск раньше ручной проверки.

Практически это решается двумя путями: через мета-поле в записи или через отдельную логику в вашем плагине/му-плагине. Если вы уже используете WPGPT для генерации текста, не полагайтесь только на статус записи. Черновик безопасен, но как только материал переводится в публикацию, он должен автоматически получить нужные SEO-ограничения, если это временная или тестовая страница.

Для редакторов это удобнее, чем вручную помнить о каждом URL. Для разработчика — меньше шансов получить случайно проиндексированный мусор.

Подход	Плюсы	Минусы
Плагин с мета-полем	Точечный контроль, удобно для редакции	Нужно один раз настроить сохранение и вывод
Только robots.txt	Быстро добавить правило	Не решает проблему уже проиндексированных URL
Удаление страницы	Жёстко убирает URL	Подходит не для временного контента

Как проверить, что всё сработало

После внедрения не ограничивайтесь визуальной проверкой в админке. Нужно убедиться, что поисковый робот видит именно те сигналы, которые вы задали.

Откройте страницу в браузере и проверьте исходный код: должен быть noindex.
Проверьте XML sitemap: AI-страницы не должны там появляться.
Если URL уже был в индексе, отправьте его на повторную проверку в Search Console после изменения.
Убедитесь, что страница не закрыта в robots.txt раньше времени, если вам нужен вывод noindex.
Проверьте, что канонический URL не указывает на другую страницу случайно.

Для быстрой диагностики удобно смотреть заголовки и HTML через DevTools или curl:

curl -I https://example.com/ai-page/

Если у вас настроен noindex через HTML, смотрите именно содержимое страницы, а не только заголовки ответа.

Частые ошибки и как их исправить

Страница закрыта в robots.txt, но остаётся в индексе

Это классическая ошибка. Если робот не может зайти на страницу, он может не увидеть noindex. В итоге URL остаётся в поиске дольше, чем вы ожидаете. Исправление: временно уберите блокировку обхода и дайте поисковику увидеть явный запрет на индексацию.

AI-страницы скрыты, но всё ещё попадают в sitemap

Тогда поисковик продолжает получать их как «рекомендуемые к обходу» URL. Исправление: исключите их из генерации sitemap через фильтр или настройку SEO-плагина, если он управляет картой сайта.

Флаг noindex ставится только в шаблоне

Если тема поменяется или шаблон не отработает для другого типа записи, защита исчезнет. Исправление: переносите логику в плагин или mu-plugin, а не в файл темы.

Закрыли весь тип записей, хотя нужны отдельные страницы

Иногда AI-контент смешан с обычными материалами. В таком случае не закрывайте весь post type. Используйте мета-поле или таксономию, чтобы управлять индексацией на уровне конкретной записи.

Что учесть для безопасности и производительности

Если вы добавляете собственный код, не храните логику в functions.php без необходимости. Лучше вынести её в небольшой плагин или mu-plugin: так она не исчезнет при смене темы. При сохранении мета-поля обязательно проверяйте nonce и права пользователя, как в примере выше.

С точки зрения производительности это почти бесплатное решение: один мета-запрос на запись и фильтр на вывод robots. Узкое место обычно не в коде, а в неправильной архитектуре публикации, когда AI-контент сразу идёт в публичный индекс.

Если вам нужно не только закрывать, но и массово чистить сайт от дублей, технических страниц и лишних архивов, имеет смысл посмотреть в сторону инструментов уровня Clearfy Pro: в таких задачах важна не одна настройка, а связка правил для SEO и технической гигиены. Но даже с плагином полезно понимать, что именно он меняет и где у вас остаётся ручной контроль.