Если вы генерируете статьи через AI и публикуете их в WordPress, самая частая ошибка — открыть страницу для индексации сразу после публикации. В результате в поиск может уйти сырой текст, недописанные блоки, шаблонные абзацы или страница без нормальной внутренней перелинковки. Для сайта это обычно хуже, чем временная задержка индексации.
Ниже — рабочая схема: сначала закрываем AI-материал от индексации, потом переводим его в обычный режим, когда текст проверен, отредактирован и готов к поиску. Подход подходит и для ручной работы, и для потока контента через WPGPT.
Когда это действительно нужно
Сценарий простой: редакция или владелец сайта быстро выпускает AI-черновики, чтобы закрыть контентный план, но не хочет, чтобы поисковики увидели недоработанную страницу раньше времени. Это особенно актуально, если:
- статья создаётся через WPGPT и ещё проходит ручную редактуру;
- на странице временно стоят заглушки, пустые блоки, неготовые изображения;
- нужно сначала проверить факты, ссылки, мета-данные и структуру;
- страница может дублировать уже существующий материал до финальной правки;
- контент публикуется массово, и вы хотите контролировать момент индексации.
Важно не путать это с постоянным закрытием от индексации. Здесь задача другая: отложить индексирование, а не запретить его навсегда.
Диагностика: как понять, что страница уже слишком рано попала в индекс
Проверка начинается не с robots.txt, а с самой страницы и её статуса. Откройте материал в браузере и посмотрите исходный код. Если в <head> уже есть noindex, значит страница закрыта корректно. Если его нет, поисковик может забрать страницу в индекс при следующем обходе.
Что проверить в первую очередь
- мета-тег robots: есть ли
noindexили толькоindex, follow; - канонический URL: не указывает ли он на другой адрес;
- нет ли страницы в XML-карте сайта;
- не открыт ли материал из архивов, тегов и главной;
- не отправляет ли тема или SEO-плагин собственный
robots-тег поверх вашего.
Если страница уже попала в индекс, это не катастрофа. Но тогда нужно сначала закрыть её от повторного обхода, а потом дождаться переобхода или отправить URL на переобход через инструменты для вебмастеров.
Рабочая схема: сначала noindex, потом открытие для индексации
Самый надёжный вариант — хранить AI-материал в статусе, который не даёт ему попасть в индекс, а после редактуры менять поведение страницы. В WordPress это можно сделать несколькими способами: через SEO-плагин, через код темы или через логику плагина, который управляет контентом.
| Подход | Плюсы | Минусы |
|---|---|---|
| SEO-плагин | Проще для редакции, меньше кода | Нужно следить, не конфликтует ли с темой и другими плагинами |
| Код в теме или mu-plugin | Точный контроль, можно завязать на статус записи | Нужна аккуратная поддержка при обновлениях |
| Ручная правка robots в каждом материале | Быстро для единичных страниц | Легко забыть снять noindex после публикации |
Вариант через статус записи и мета-тег robots
Если у вас есть отдельный статус для черновиков или вы помечаете AI-материалы специальным мета-полем, можно выводить noindex только для нужных страниц. Пример ниже показывает логику для обычных записей: пока запись в черновике, она не индексируется; после публикации — открывается.
<?php
add_action('wp_head', function () {
if (!is_singular('post')) {
return;
}
global $post;
if (!$post instanceof WP_Post) {
return;
}
if ('draft' === get_post_status($post)) {
echo '<meta name="robots" content="noindex, nofollow">' . "\n";
}
});Это базовый пример. В реальном проекте лучше не полагаться только на статус, если редакция публикует посты сразу, а потом дорабатывает. Тогда удобнее использовать отдельное поле, например ai_reviewed, и открывать индексацию только после его установки.
Вариант через пользовательское поле
Если контент создаётся через WPGPT, логично добавить в рабочий процесс признак готовности материала. Например, редактор генерирует текст, проверяет его и только потом отмечает запись как готовую к индексации.
<?php
add_action('wp_head', function () {
if (!is_singular('post')) {
return;
}
$post_id = get_queried_object_id();
$ready_for_index = get_post_meta($post_id, 'ai_ready_for_index', true);
if ('1' !== $ready_for_index) {
echo '<meta name="robots" content="noindex, nofollow">' . "\n";
}
});Такой вариант удобнее для редакции: публикация и индексация перестают быть одним и тем же событием. Это снижает риск случайно выпустить в поиск сырой AI-текст.
Как встроить это в работу с WPGPT
Если вы используете WPGPT для генерации контента, полезно разделить процесс на два этапа: создание и публикация для индексации. Сам плагин помогает быстро собрать черновик, но финальный контроль всё равно должен оставаться у редактора.
Практически это выглядит так:
- генерируете статью через WPGPT;
- сохраняете её как черновик или в статусе на проверке;
- проверяете факты, заголовки, ссылки, изображения и внутренние переходы;
- ставите признак готовности к индексации;
- только после этого убираете
noindex.
Если хотите упростить редакционный процесс, можно сочетать WPGPT с настройками SEO-плагина или с небольшим mu-plugin, который автоматически закрывает от индексации всё, что ещё не прошло проверку. Для сайтов с регулярным AI-потоком это обычно надёжнее, чем ручные действия в каждом материале.
Пошаговое решение без лишней магии
Шаг 1. Определите, какие записи должны быть закрыты
Не нужно закрывать весь сайт. Обычно достаточно ограничить только AI-материалы, черновики или записи с отдельной меткой. Чем точнее правило, тем меньше риск случайно убрать из индекса нормальные страницы.
Шаг 2. Добавьте правило noindex
Выберите один источник правды: либо SEO-плагин, либо код. Если одновременно править robots в теме, SEO-плагине и через фильтры, легко получить конфликт. На практике лучше оставить один механизм, который отвечает за мета-тег robots.
Шаг 3. Настройте момент снятия noindex
Снятие должно происходить не по факту публикации, а по факту готовности. Это может быть ручная отметка редактора, смена статуса или специальное поле. Главное — чтобы процесс был воспроизводимым.
Шаг 4. Убедитесь, что страница не дублируется
Если AI-статья уже открыта, но содержит почти тот же текст, что и старая публикация, поисковик может выбрать не ту версию. Поэтому перед снятием noindex проверьте канонический URL, заголовок, H1 и уникальность основного блока.
Проверка результата после внедрения
После настройки важно не гадать, а проверить фактический HTML страницы. Откройте материал в браузере и посмотрите исходный код или используйте команду curl.
curl -I https://example.com/ai-article/Здесь вы проверяете не только статус ответа, но и то, не отдаёт ли сайт лишние заголовки, которые могут конфликтовать с вашей логикой. Для самого мета-тега robots удобнее смотреть HTML:
curl -s https://example.com/ai-article/ | grep -i robotsЕсли всё настроено правильно, для черновика вы увидите noindex, а после перевода записи в готовый режим — либо отсутствие этого тега, либо index, follow, если так настроен ваш SEO-плагин.
Дополнительно проверьте:
- страница не попадает в XML-карту сайта до готовности;
- внутренние ссылки на неё не ведут с важных страниц раньше времени;
- в админке нет нескольких источников, которые одновременно управляют robots;
- после снятия
noindexстраница доступна без редиректов и ошибок 404.
Частые ошибки и как их исправить
Оставили noindex после публикации
Это самая частая проблема. Страница уже готова, но в индексе её нет, потому что кто-то забыл снять флаг. Решение простое: заведите чек-лист публикации и сделайте пункт про индексацию обязательным.
Правят robots.txt вместо meta robots
robots.txt не решает задачу тонко. Он может ограничить обход, но не гарантирует удаление уже известного URL из индекса. Для отложенной индексации нужен именно noindex на странице.
Конфликтуют SEO-плагин и код темы
Если один инструмент пишет index, а другой — noindex, итог зависит от того, что именно выводится в HTML. В таких случаях оставьте один источник управления robots и уберите дублирующую логику.
AI-страница доступна из архива или тега
Даже если сама запись закрыта, она может быть найдена через архивы, теги, блоки «похожие статьи» и карту сайта. Проверьте все точки входа, особенно если контент массово генерируется через WPGPT.
Чек-лист перед открытием AI-материала в индекс
- текст отредактирован вручную и не содержит заглушек;
- проверены заголовок, H1, meta title и description;
- добавлены внутренние ссылки на релевантные материалы;
- изображения имеют alt-тексты и корректные размеры;
- страница не дублирует уже опубликованный материал;
noindexснят только после финальной проверки;- URL присутствует в sitemap, если страница должна индексироваться;
- нет конфликтов между темой, SEO-плагином и кастомным кодом.
Практические советы по безопасности и производительности
Если вы внедряете логику через код, лучше вынести её в mu-plugin или небольшой собственный плагин, а не держать в functions.php темы. Так правило не сломается при смене темы и проще переживёт обновления.
Не делайте тяжёлые запросы к базе на каждом хите ради проверки готовности к индексации. Хватит одного пользовательского поля или статуса записи. Чем меньше логики в wp_head, тем меньше лишней нагрузки.
Если у вас уже стоит Clearfy Pro, его можно использовать как часть общей гигиены сайта: чистка дублей, технических страниц и лишних сущностей помогает не смешивать задачу отложенной индексации с общей SEO-настройкой. Но сам принцип остаётся тем же: AI-материал должен переходить из закрытого режима в открытый только после проверки.
Для редакций, где контент создаётся серийно, полезно закрепить правило: всё, что сгенерировано AI, сначала считается черновиком, даже если визуально страница уже опубликована. Это дисциплинирует процесс и снижает риск случайного попадания сырого текста в поиск.