wpcli.ru wordpress WPCLI

Как найти и удалить дубли страниц в WordPress

Если в поиске появляются одинаковые или почти одинаковые страницы, это обычно не «ошибка Google», а следствие того, как WordPress строит архивы, теги, пагинацию и URL с параметрами. Для сайта это неприятно: поисковик тратит обход на повторяющиеся адреса, а вместо одной сильной страницы в индексе оказываются несколько слабых копий.

Ниже разберём, где именно искать дубли в WordPress, как отличить нормальные технические копии от вредных, и что делать с архивами, тегами, пагинацией и параметрами URL, чтобы не сломать сайт и не потерять нужные страницы.

Откуда берутся дубли страниц в WordPress

В WordPress одна и та же запись или страница может открываться по разным адресам. Иногда это нормально, но для поиска это всё равно отдельные URL. Самые частые источники дублей такие:

  • архивы рубрик, тегов, авторов и дат, которые повторяют содержимое записей;
  • пагинация архивов, когда одна и та же подборка доступна на нескольких страницах;
  • параметры в URL, например сортировка, фильтры, UTM-метки, служебные параметры;
  • страницы с похожим или почти одинаковым контентом, созданные вручную;
  • дубли из-за http/https, www/без www, со слешем и без слеша, если сайт настроен непоследовательно;
  • страницы вложений изображений, которые WordPress создаёт автоматически;
  • страницы поиска по сайту, которые иногда попадают в индекс.

Не все из них нужно удалять. Например, архив рубрики может быть полезен, если он даёт уникальную подборку материалов и нормальный текст. Но если архив просто повторяет заголовки и отрывки записей, он часто становится дублем по смыслу.

Как найти дубли: с чего начать проверку

Начинать лучше не с удаления, а с поиска источника. Иначе легко закрыть от индекса полезную страницу или удалить то, что нужно для навигации.

Проверьте сайт через поиск и оператор site:

Самый быстрый способ — посмотреть, какие адреса уже видит поисковик. Введите в Google или Яндекс запрос вида site:example.com и добавьте часть заголовка или текста страницы. Если в выдаче всплывают несколько URL с одинаковым содержимым, это уже сигнал.

Полезно сравнить:

  • основной URL записи;
  • URL из архива рубрики или тега;
  • URL с параметрами;
  • URL пагинации;
  • URL страницы вложения, если она есть.

Сравните канонические адреса и фактические URL

Откройте подозрительные страницы и посмотрите исходный код или данные SEO-плагина. На странице должен быть один понятный канонический URL через тег link rel="canonical". Если каноникал указывает не туда, куда нужно, поисковик может считать дубликатом не ту страницу.

Для проверки удобно использовать:

  • просмотр исходного кода страницы;
  • инструменты вебмастера в поисковых системах;
  • краулер вроде Screaming Frog, Sitebulb или аналогичный;
  • поиск по серверным логам, если есть доступ.

Краулер особенно полезен, когда дублей много: он покажет, какие URL открываются с одинаковым title, H1, canonical и кодом ответа.

Что делать с архивами рубрик, тегов и авторов

Архивы — одна из самых частых причин дублей в WordPress. Проблема не в самих архивах, а в том, что они часто повторяют контент записей почти без добавочной ценности.

Если архив полезен пользователю, оставляйте его открытым, но сделайте его уникальным: добавьте нормальный текст-описание, понятный заголовок, отбор материалов по теме. Если архив пустой или почти пустой, его лучше закрыть от индексации или удалить из карты сайта, в зависимости от того, как устроен ваш сайт.

На практике обычно действуют так:

  • рубрики — оставляют, если это основная структура сайта и в них есть смысл;
  • теги — часто закрывают от индексации, если они создают много слабых архивов;
  • архивы авторов — закрывают на сайтах с одним автором или если они дублируют рубрики;
  • архивы дат — чаще всего не нужны для поиска и создают лишние копии.

Если вы используете SEO-плагин, настройка обычно делается там: для архивов можно задать noindex, убрать их из карты сайта или вообще отключить вывод. Но не закрывайте всё подряд без проверки: иногда рубрика — это полноценная посадочная страница.

Пагинация: когда это дубль, а когда нормальная часть архива

Страницы вида /page/2/, /page/3/ и дальше — это не ошибка. Для больших архивов это нормальная пагинация. Удалять её не нужно. Проблема возникает, когда:

  • на всех страницах пагинации одинаковые title и description;
  • вторая и последующие страницы повторяют первый экран без изменения контента;
  • поисковик индексирует пагинацию вместо основной страницы архива;
  • внутренние ссылки ведут на несколько вариантов одной и той же подборки.

Что делать:

  • оставить пагинацию доступной для пользователей;
  • проверить, что canonical указывает на саму страницу пагинации, а не на первую страницу архива, если это обычная пагинация списка;
  • не закрывать пагинацию без причины, если через неё доступны важные материалы;
  • убедиться, что на страницах пагинации нет лишнего дублирующего текста, который повторяется на каждой странице без смысла.

Если у вас очень короткие архивы и пагинация создаётся только формально, лучше пересмотреть количество записей на странице или структуру архива, а не пытаться лечить это запретом индексации.

Параметры URL: фильтры, сортировка и служебные хвосты

Параметры в URL часто создают десятки почти одинаковых страниц. Например, одна и та же категория может открываться с сортировкой, фильтром, меткой кампании или внутренним параметром. Для пользователя это удобно, а для поиска — источник дублей.

Сначала разделите параметры на полезные и мусорные:

  • полезные — меняют содержимое страницы так, что это действительно отдельная версия для пользователя;
  • мусорные — не меняют контент, а только служат для аналитики, рекламы или технической обработки.

Если параметр не влияет на смысл страницы, обычно его не нужно индексировать. Для этого используют canonical на чистый URL, noindex для служебных страниц или настройку обработки параметров в инструментах вебмастера, если поисковик это поддерживает.

Важно не путать параметры отслеживания и реальные фильтры. UTM-метки, ?utm_source=..., почти всегда не должны создавать отдельные страницы в индексе. А вот фильтр каталога, который меняет набор товаров или записей, может быть отдельным сценарием — но это уже зависит от сайта и от того, есть ли у такой страницы поисковый спрос.

Как удалить дубли без потери нужных страниц

Удаление дублей — это не всегда физическое удаление страниц. Чаще правильнее выбрать один из трёх вариантов: оставить только одну версию, перенаправить лишние URL или закрыть их от индексации.

СитуацияЧто делатьКомментарий
Две страницы с одинаковым контентом, одна из них лишняяСделать 301-редирект на основнуюЛучший вариант, если старая страница больше не нужна
Технический дубль нужен для пользователей, но не для поискаОставить страницу, поставить canonical или noindexПодходит для архивов, фильтров, параметров
Страница не нужна вообщеУдалить и вернуть 404 или 410, при необходимости с редиректом410 уместен, если адрес точно больше не должен существовать

Если удаляете страницу, сначала проверьте входящие ссылки и трафик. Иногда «дубль» оказывается страницей, на которую ведут внешние ссылки или внутренние переходы. В таком случае лучше не удалять её сразу, а перенаправить на основную версию.

Практический порядок действий

Если нужно быстро навести порядок на сайте, действуйте по шагам:

  1. Соберите список подозрительных URL из поиска, Search Console или другого инструмента вебмастера.
  2. Сравните title, H1, canonical и содержимое страниц.
  3. Определите, какие страницы являются основными, а какие — техническими копиями.
  4. Для лишних дублей настройте 301-редирект на основную страницу или canonical, если редирект не подходит.
  5. Закройте от индексации пустые или слабые архивы, которые не несут пользы.
  6. Проверьте параметры URL и уберите из индекса служебные версии.
  7. После изменений переобойдите сайт краулером и проверьте, что в индексе осталась одна основная версия каждой страницы.

Если сайт большой, не пытайтесь исправить всё вручную по одному URL. Сначала найдите шаблон проблемы: это может быть один тип архивов, одна группа параметров или один шаблон страницы в теме.

Как проверить, что дубли действительно убраны

После правок важно не просто «посмотреть сайт», а убедиться, что поисковик видит нужную структуру.

  • основной URL открывается с кодом ответа 200;
  • лишние URL отдают 301 на основную страницу или закрыты от индексации;
  • canonical указывает на правильный адрес;
  • в поиске остаётся одна основная версия страницы;
  • архивы и параметры не плодят новые копии после переобхода.

Если после изменений дубли продолжают появляться, проверьте тему и плагины. Иногда проблема не в контенте, а в шаблоне: тема может выводить одинаковые блоки на разных типах страниц, а SEO-плагин — неправильно формировать canonical или мета-теги.

Для сайтов на WordPress полезно отдельно проверить, не создаёт ли дубли сам шаблон: страницы вложений, архивы тегов, авторов, дат и результаты поиска по сайту. Именно они чаще всего дают лишние URL без заметной пользы для посетителя.

Если нужен более системный способ чистить дубли и технические страницы на WordPress, часть задач можно закрыть настройками SEO-плагина или инструментов оптимизации, но сначала всё равно стоит понять, какие URL должны остаться в индексе, а какие нет. Без этого любая автоматизация только замаскирует проблему.

×
Halloween Game

Сыграй в игру, спаси сайт! Забери приз

Играть