Отложенная индексация через noindex для AI-сгенерированных страниц в WordPress

Если вы генерируете черновики, FAQ-блоки, описания рубрик или карточки материалов с помощью ИИ, самая частая ошибка — сразу отдавать такие страницы в индекс. В WordPress это особенно заметно, когда контент создаётся массово: часть страниц ещё не отредактирована, часть дублирует смысл, а часть вообще нужна только как рабочий материал редакции.

Практичнее делать так: сначала закрывать AI-страницы от индексации, потом проверять качество, и только после этого снимать noindex. Это снижает риск мусора в поиске и даёт время на ручную правку. Если вы используете WPGPT для генерации контента, такой сценарий особенно удобен: плагин помогает быстро наполнять сайт, а вы контролируете, что именно попадёт в индекс.

Когда это решение действительно нужно

Сценарий не про «все страницы сайта закрыть от индексации», а про конкретные рабочие зоны:

• черновики, созданные через AI, но ещё не вычитанные редактором;
• страницы с автосгенерированными FAQ, которые нужно сначала проверить на дубли и смысл;
• лендинги и посадочные страницы, собранные из шаблонов;
• массово созданные материалы, где часть записей ещё не готова к публикации;
• контент, который должен пройти внутреннюю модерацию перед SEO-открытием.

Если у вас уже есть опубликованные страницы с тонким или повторяющимся AI-контентом, простое noindex не исправит качество текста, но поможет не усугублять ситуацию новыми страницами в индексе.

Диагностика: как понять, что проблема именно в индексации

Сначала проверьте, что поисковик уже видит лишнее. Для этого достаточно нескольких признаков:

• в Google Search Console появляются URL, которые вы не планировали индексировать;
• в поиске находятся служебные или почти одинаковые страницы;
• в выдаче есть черновые AI-страницы с шаблонным текстом;
• внутренние ссылки ведут на материалы, которые ещё не готовы к публичному показу;
• в коде страницы нет явного noindex, а robots.txt не решает задачу, потому что URL уже известен поисковику.

Проверка на месте простая: откройте страницу и посмотрите исходный код. Ищите мета-тег robots или заголовок X-Robots-Tag. Если их нет, страница может индексироваться, даже если она выглядит как «черновик» для редакции.

Что выбрать: плагин, код или ручную настройку

Для AI-контента лучше не полагаться только на robots.txt. Он не подходит для точечного управления индексацией уже доступных страниц. Ниже — рабочее сравнение подходов.

Если вы уже используете Clearfy Pro для технической чистки сайта, его удобно сочетать с ручной логикой: часть дублей и служебных страниц закрывается настройками, а AI-страницы — отдельным кодом или SEO-плагином.

Пошаговое решение: как закрыть AI-страницы от индексации

1. Пометьте такие записи отдельным признаком

Самый надёжный способ — не угадывать по заголовку, а хранить явный флаг в метаполе. Например, при создании AI-черновика ставьте _ai_generated в значение 1. Это удобно и для редакции, и для автоматизации.

<?php
add_action('save_post', function ($post_id, $post, $update) {
    if (wp_is_post_revision($post_id) || wp_is_post_autosave($post_id)) {
        return;
    }

    if ($post->post_type !== 'post') {
        return;
    }

    // Пример: если редактор отметил запись как AI-черновик.
    if (isset($_POST['ai_generated']) && $_POST['ai_generated'] === '1') {
        update_post_meta($post_id, '_ai_generated', '1');
    }
}, 10, 3);

В реальном проекте флаг можно ставить не через $_POST, а из интерфейса плагина, который создаёт контент. Если вы работаете через WPGPT, логика может быть проще: AI-материал создаётся как черновик, а метка для индексации ставится только после редакторской проверки.

2. Отдавайте noindex для отмеченных страниц

Дальше добавьте мета-тег robots только для нужных записей. Это точечнее, чем закрывать весь тип записи целиком.

<?php
add_action('wp_head', function () {
    if (!is_singular()) {
        return;
    }

    $post_id = get_queried_object_id();
    if (!$post_id) {
        return;
    }

    if (get_post_meta($post_id, '_ai_generated', true) === '1') {
        echo '<meta name="robots" content="noindex,follow">' . "\n";
    }
}, 1);

Здесь важен параметр follow: ссылки на странице могут оставаться доступными для обхода, но сама страница не должна попадать в индекс. Для временных черновиков это обычно разумнее, чем noindex,nofollow.

3. Снимайте noindex только после проверки

Не переводите страницу в индекс автоматически сразу после генерации. Сначала проверьте:

• нет ли повторов с уже опубликованными материалами;
• не сломан ли HTML в блоках;
• корректны ли заголовки H2/H3;
• есть ли фактическая польза для пользователя, а не только набор ключей;
• не осталось ли в тексте шаблонных фраз, которые выдает ИИ без правки.

После этого снимите флаг _ai_generated или переключите его на 0. Тогда мета-тег noindex исчезнет, и страница станет доступной для индексации.

Как проверить, что решение сработало

Проверка должна быть не «на глаз», а по факту:

1. Откройте страницу в браузере и посмотрите исходный код.
2. Убедитесь, что для AI-страницы есть <meta name="robots" content="noindex,follow">.
3. Если используете SEO-плагин, проверьте, не переопределяет ли он ваш код.
4. В Google Search Console отправьте URL на проверку и посмотрите, видит ли робот директиву.
5. После снятия флага повторно проверьте исходный код: noindex должен исчезнуть.

Если страница всё ещё индексируется, проверьте кэш. Часто проблема не в коде, а в том, что серверный или плагинный кэш отдаёт старую версию HTML.

Частые ошибки и как их исправить

Закрывают страницу в robots.txt вместо noindex

Это частая подмена понятий. Disallow мешает обходу, но не гарантирует удаление URL из индекса, если поисковик уже знает адрес. Для точечной работы с AI-страницами нужен именно noindex или заголовок X-Robots-Tag.

Ставят noindex на весь тип записей

Так легко случайно закрыть нормальные материалы вместе с черновиками. Если AI-контент смешан с обычным, используйте метаполе или отдельную таксономию для пометки.

Забывают про кэш

После изменения директивы страница может ещё некоторое время отдаваться из кэша. Очистите кэш плагина, серверный кэш и, если есть, CDN. Иначе проверка даст ложный результат.

Автоматически публикуют AI-контент без ревизии

Это уже не проблема индексации, а проблема процесса. Если контент генерируется массово, публикация без ручной проверки почти всегда приводит к мусору в поиске. Лучше держать такие материалы в статусе draft или pending до финальной правки.

Практика для безопасности и производительности

Если AI-страниц много, не делайте тяжёлые запросы на каждом хите. Проверка по метаполю через get_post_meta() для одной записи нормальна, но массовые выборки лучше строить заранее: например, помечать нужные посты при сохранении, а не вычислять статус на лету по сложным условиям.

Ещё один полезный момент — ограничить доступ к внутренним черновикам. Если AI-материал ещё не готов, не публикуйте его как «почти готовый» только ради теста. Для внутренней работы лучше использовать черновик, предпросмотр и роли редакторов, а не открытый URL с надеждой на noindex.

Если вам нужно быстро наладить техническую чистку сайта, связку «генерация через WPGPT + контроль индексации + очистка дублей» удобно собирать на базе Clearfy Pro: он не заменяет редакторскую проверку, но помогает убрать лишний технический шум вокруг контента.

Когда стоит идти дальше и автоматизировать процесс

Если AI-контент создаётся регулярно, ручное снятие и установка noindex быстро начинают раздражать редакцию. В этом случае имеет смысл автоматизировать хотя бы базовую логику: новые AI-материалы всегда создаются как черновики, а в индекс уходят только после смены статуса и снятия метки.

Такой подход проще поддерживать, чем потом чистить выдачу от случайно опубликованных страниц. Для WordPress это обычно самый здравый компромисс: не прятать сайт целиком, а управлять индексацией на уровне конкретной записи и конкретного процесса публикации.