Если в индексе уже есть страницы автора, архивы по датам, теги и пагинация, а в Search Console растут URL без трафика, проблема обычно не в «плохом SEO», а в том, что WordPress сам генерирует слишком много однотипных страниц. Закрывать всё подряд через robots.txt — плохая идея: поисковик может не увидеть noindex и часть мусора останется в индексе дольше, чем нужно.
Ниже — рабочая схема: что именно закрывать, чем лучше управлять через canonical, а что безопаснее отдать плагину или коду. Отдельно покажу, как в этой задаче помогает WPGPT, если у вас на сайте есть AI-страницы, черновики контента или массово создаются похожие материалы.
Когда это действительно проблема
Сначала стоит убедиться, что речь именно о дублях, а не о нормальной структуре сайта. Типичный набор признаков:
- в индексе есть
/author/..., хотя на сайте один редактор и эти страницы не несут пользы; - архивы по датам, тегам и рубрикам конкурируют с основными статьями;
- пагинация архивов индексируется, но не дает трафика;
- в отчётах Search Console появляются URL с одинаковым заголовком и почти одинаковым текстом;
- канонические URL указывают не туда, куда вы ожидаете.
Если архивы реально приводят трафик, например по тематическим рубрикам, их не нужно бездумно закрывать. В WordPress часто полезнее оставить индексируемыми только те типы страниц, которые помогают навигации и не создают мусор.
Диагностика: что именно индексируется
Перед правками проверьте три вещи: какие URL уже в индексе, какие из них отдают 200 OK, и какие канонические URL стоят в коде страницы. Это можно сделать вручную и через инструменты.
Что смотреть в первую очередь
- Google Search Console: отчёт по индексированию страниц и исключённым URL;
- исходный код страницы: наличие
<link rel="canonical">; - ответ сервера: не закрыт ли URL через
noindexилиX-Robots-Tag; - архивы автора, рубрик, тегов и дат: есть ли у них уникальная ценность.
Если вы используете WPGPT для генерации материалов, отдельно проверьте, не создаются ли массово очень похожие страницы. Для таких сценариев полезно заранее ограничивать индексацию черновиков, тестовых страниц и шаблонных AI-материалов, пока они не прошли редактуру. Это дешевле, чем потом вычищать индекс.
Что закрывать через noindex, а что оставить
Не все дубли одинаковы. Для WordPress удобнее разделить их на три группы: закрыть полностью, оставить только canonical, либо вообще не трогать.
| Тип страницы | Что делать | Комментарий |
|---|---|---|
| Архивы автора на сайте с одним автором | noindex,follow | Почти всегда лишний слой индексации |
| Архивы по датам | noindex,follow или отключить вывод | Имеют смысл только для новостных проектов |
| Теги без трафика | noindex,follow | Оставляйте только те, что реально помогают навигации |
| Пагинация архивов | Обычно оставить canonical на саму страницу архива | Не всегда нужно закрывать, зависит от структуры |
Если у вас уже есть плагин для SEO, сначала проверьте его настройки. Во многих случаях достаточно включить noindex для архивов автора и тегов, а canonical он проставит сам. Если плагин этого не умеет или вы хотите точечно управлять логикой, проще добавить код.
Пошаговое решение через код
Ниже пример для functions.php дочерней темы или собственного мини-плагина. Он закрывает архивы автора и архивы по датам от индексации, но оставляет их доступными для обхода.
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_author() || is_date() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Этот вариант хорош тем, что не ломает доступ к страницам для пользователей и поисковых роботов. Страница остаётся открытой, но поисковик получает сигнал не добавлять её в индекс.
Если нужно закрыть ещё и теги, добавьте проверку is_tag(). Но делайте это только если теги у вас не используются как посадочные страницы.
<?php
add_filter( 'wp_robots', function( array $robots ) {
if ( is_author() || is_date() || is_tag() ) {
$robots['noindex'] = true;
$robots['follow'] = true;
}
return $robots;
} );Когда нужен canonical
noindex решает задачу индексации, но canonical полезен, когда у вас есть несколько URL с одинаковым или почти одинаковым содержимым. Например, страница рубрики и её пагинация, либо параметры сортировки в URL. В таких случаях canonical должен указывать на основную версию страницы.
Если вы пишете собственную логику, не подменяйте canonical на случайный URL. Канонический адрес должен быть либо текущей основной страницей, либо заранее выбранной целевой страницей. Иначе поисковик просто проигнорирует подсказку.
Как это сделать через плагин и не усложнять поддержку
Если сайт уже живёт на плагинах и вам не хочется поддерживать код, разумный путь — использовать SEO-плагин или набор инструментов для чистки дублей. В экосистеме WPShop для этого подходит Clearfy Pro: он помогает управлять дублями, архивами и техническими страницами без ручного вмешательства в шаблоны. Для редакций, где контент создаётся массово, это часто удобнее, чем каждый раз править тему.
Если вы одновременно используете WPGPT для генерации черновиков или вспомогательных материалов, полезно сразу настроить правила публикации: не выпускать в индекс тестовые AI-страницы, пока они не отредактированы, и не плодить архивы под временные сущности. Это снижает риск технического мусора в индексе.
Проверка результата после внедрения
После правок не ориентируйтесь только на видимый HTML. Проверьте, что сервер и поисковик получили нужные сигналы.
- Откройте архив автора или дату и посмотрите исходный код: должен быть
noindex. - Проверьте, что страница не закрыта в
robots.txt, если вы рассчитываете наnoindex. - Убедитесь, что canonical указывает на основную страницу, а не на случайный URL.
- В Search Console отправьте URL на повторную проверку после обновления.
- Через несколько дней посмотрите, уменьшается ли число исключённых или дублирующихся URL.
Для быстрой проверки можно открыть страницу в браузере и найти в исходнике строку вида:
<meta name="robots" content="noindex,follow" />Если у вас вместо meta используется заголовок X-Robots-Tag, это тоже нормально, но тогда проверять нужно ответ сервера, а не только HTML.
Частые ошибки и как их исправить
Закрыли URL в robots.txt и ждёте, что он выпадет из индекса
Это частая ошибка. Если поисковик не может зайти на страницу, он не всегда увидит noindex. Для уже известных URL это может затянуть очистку индекса. Если задача именно убрать страницу из выдачи, сначала дайте роботу увидеть noindex, а потом при необходимости ограничивайте обход.
Поставили noindex на всё подряд
Так легко убить полезные архивы рубрик, которые приводят трафик и помогают внутренней перелинковке. Сначала проверьте аналитику и только потом закрывайте типы страниц. Не закрывайте рубрики, если они у вас фактически работают как посадочные страницы.
Canonical указывает на главную или на нерелевантную страницу
Это ломает логику индексации. Canonical должен быть осмысленным и стабильным. Если вы не уверены, лучше оставить штатный canonical от темы или SEO-плагина, чем подставлять неправильный вручную.
Дубли создаёт сам плагин или тема
Иногда проблема не в архивах, а в шаблоне: один и тот же контент выводится в нескольких местах, например в блоках «похожие записи», на страницах автора и в лентах. Тогда нужно править шаблон или логику вывода, а не только мета-теги.
Практические советы по безопасности и производительности
Любые правки в functions.php лучше делать через дочернюю тему или небольшой mu-plugin, а не в основной теме. Так вы не потеряете изменения после обновления. Перед внедрением сохраните резервную копию и проверьте код на тестовой копии сайта.
Если архивы и теги не нужны как отдельные страницы, не только закрывайте их от индексации, но и убирайте лишние блоки из шаблона. Чем меньше бесполезных URL генерирует WordPress, тем проще поддерживать сайт и тем меньше нагрузка на обход.
Для сайтов, где AI-контент создаётся регулярно, полезно сразу выстроить редакционный процесс: черновик, проверка, доработка, только потом публикация и индексация. WPGPT здесь удобен не как «кнопка для SEO», а как инструмент ускорения подготовки текста без хаоса в структуре сайта.
Если нужен более системный контроль дублей и технических страниц, можно посмотреть Clearfy Pro: https://wpshop.ru/plugins/clearfy. Для сайтов, где важна именно генерация и редактура AI-контента, WPGPT доступен здесь: https://wpshop.ru/plugins/wpgpt.