Дубли страниц с GET-параметрами: как найти и убрать
Дубли страниц — это одинаковое содержимое, доступное по разным адресам: с UTM-метками, параметрами сортировки, со слешем и без, с www и без. Если Вебмастер пишет «Найдены страницы-дубли с GET-параметрами», чаще всего хватает директивы Clean-param в robots.txt, а для остальных случаев есть rel=canonical и 301-редирект. Ниже — откуда берутся дубли, какой способ выбрать, как это сделать на WordPress, Tilda и Битрикс и как проверить, что всё исправилось.

Что такое дубли и чем они мешают
По справке Яндекса, если страницы доступны по разным адресам, но содержимое у них одинаковое, робот может счесть их дублями и объединить в группу. В поиске останется одна страница из группы, и не обязательно та, которую выбрали бы вы.
Яндекс перечисляет четыре проблемы:
- нужная страница может пропасть из выдачи, потому что робот выбрал другую;
- иногда страницы не объединяются и начинают конкурировать друг с другом;
- адрес страницы в поиске меняется, и статистику в аналитике сложнее читать;
- робот тратит время на обход копий вместо новых страниц.
Санкций за сами дубли в справке нет. Это техническая проблема, а не нарушение, но на небольшом сайте она особенно заметна: каждая потерянная из поиска страница на счету.
Откуда берутся дубли
| Источник | Пример адреса (условный) | Чем лечить |
|---|---|---|
| UTM-метки и метки рекламы | /catalog/?utm_source=vk | Clean-param или canonical |
| Сортировка, вид, пагинация через параметры | /catalog/?sort=price | Clean-param или canonical |
| Идентификаторы сессий и реферальные коды | /page/?ref=partner1 | Clean-param |
| Слеш в конце и без него | /blog/post и /blog/post/ | 301-редирект |
| www и без www, http и https | http://www.site.ru/ | 301-редирект |
| Главная по нескольким адресам | /index.php и / | 301 или canonical |
| Товар в нескольких категориях | /shoes/item-1/ и /sale/item-1/ | canonical или одна адресация товара |
| Версия для печати, AMP | /post/?print=1 | canonical, Clean-param для параметров |
Способы лечения в таблице взяты из той же справки Яндекса: для GET-параметров, которые не меняют содержимое, рекомендована Clean-param, для слеша — 301-редирект (атрибут canonical в этом случае может игнорироваться), для одинакового контента на разных адресах — 301, canonical, Disallow или noindex.
Уведомление «Найдены страницы-дубли с GET-параметрами»
Если дубли возникли из-за параметров в адресе, Вебмастер сообщает об этом в разделе «Диагностика сайта». Это подсказка, а не штраф: Яндекс заметил, что разные адреса с параметрами отдают одну и ту же страницу.
Что делать по порядку:
- Откройте уведомление и посмотрите примеры адресов. Выпишите параметры, которые встречаются:
utm_*,sort,ref,fromи так далее. - Для каждого параметра ответьте на вопрос: меняет ли он содержимое страницы?
?page=2или?color=redв фильтре могут менять,?utm_source=не меняет никогда. - Параметры, которые не меняют содержимое, перечислите в Clean-param.
- Если параметр меняет содержимое, но такие страницы вам в поиске не нужны, используйте canonical на основную страницу или закройте их.
Обратите внимание: по справке Яндекс сам отбрасывает большинство UTM-меток. Поэтому уведомление чаще вызывают «самодельные» параметры: метки партнёрок, рассылок, фильтров.
Clean-param: как писать
Синтаксис из справки о Clean-param: Clean-param: p0[&p1&p2&..&pn] [path]. Сначала через & перечисляются параметры, которые робот должен игнорировать, затем, по желанию, префикс пути, к которому правило относится. Без пути правило действует на весь сайт. Длина правила ограничена 500 символами, регистр учитывается.
Условный пример для небольшого магазина:
User-agent: Yandex
Disallow: /cart/
Clean-param: ref&from&sort
Clean-param: view /catalog/
Первая строка Clean-param убирает ref, from и sort на всём сайте, вторая — параметр view только в каталоге. Подставьте свои параметры из уведомления.
Три тонкости из справки:
- Директива межсекционная: её можно указать в любом месте файла. Но если для робота Яндекса есть отдельная секция, перечислите все правила в ней.
- Не добавляйте Disallow для тех же адресов. Если адрес одновременно закрыт Disallow и подпадает под Clean-param, приоритет у Disallow, и страница не будет индексироваться. Яндекс рекомендует Clean-param именно потому, что он сохраняет накопленные показатели основной страницы.
- Это директива для Яндекса. Google параметры в robots.txt так не обрабатывает: в 2022 году он закрыл инструмент «Параметры URL» в Search Console и написал, что его роботы учатся разбираться с параметрами автоматически. Для Google основной инструмент — canonical и редиректы.
rel=canonical: когда и как
Canonical — тег <link rel="canonical" href="..."> в <head> или HTTP-заголовок Link, который указывает основную версию страницы. Подходит, когда дубль должен оставаться доступным людям: товар в двух категориях, версия для печати, страница с сортировкой.
По справке Яндекса о canonical, это рекомендация, а не приказ. Робот может её проигнорировать, если:
- канонический адрес перенаправляет дальше или закрыт от индексации;
- он на другом домене или поддомене;
- на странице несколько canonical или выстроена цепочка A → B → C;
- содержимое страниц сильно различается, и неканоническая лучше отвечает на запрос.
Google в руководстве по дублирующимся URL ранжирует способы по силе сигнала: редирект сильнее canonical, canonical сильнее sitemap. Там же он просит не использовать robots.txt и noindex для выбора канонической страницы, не давать разные канонические адреса разными способами и ставить внутренние ссылки сразу на канонические URL.
Отдельный случай — статус «Неканоническая страница» в Вебмастере. Он означает, что на странице стоит canonical на другой адрес, и Яндекс исключил её из поиска в пользу канонической. Если так и задумано, ничего делать не нужно. Если страница пропала по ошибке, уберите неверный canonical.
301-редирект: для «технических» дублей
Слеш в конце, www, http и https, index.php — всё это лучше решать постоянным 301-редиректом на один вариант. Для слеша Яндекс прямо пишет, что canonical может игнорироваться, а для переезда с http на https canonical больше не поддерживается — нужен редирект. Выбирая вариант адреса, оставьте тот, который уже в поиске, чтобы не менять адреса без необходимости.
Дубли на WordPress, Tilda и Битрикс
WordPress
Ядро WordPress само выводит canonical, но только на отдельных записях и страницах: функция rel_canonical срабатывает лишь для одиночных страниц, архивы рубрик и меток тега не получают. Типичные источники дублей: архивы меток, вложения (attachment-страницы), параметры ?replytocom= от комментариев. SEO-плагины вроде Yoast или Rank Math позволяют в настройках закрыть от индексации лишние типы архивов и страницы вложений. Clean-param в robots.txt допишите вручную или через плагин, который позволяет редактировать файл.
Tilda
По ответу Tilda, всем страницам автоматически присваивается canonical, а варианты адреса со слешем или www не индексируются. Дубли на Тильде чаще появляются из-за параметров рекламы и рассылок, поэтому проверьте уведомления Вебмастера и при необходимости добавьте Clean-param в robots.txt через настройки сайта.
1С-Битрикс
В Битриксе дубли обычно дают умный фильтр каталога, сортировка и постраничная навигация с параметрами вроде PAGEN_1. Начните с уведомления в Вебмастере: выпишите параметры, которые встречаются в примерах, и разделите их на «меняют содержимое» и «не меняют». Вторые — в Clean-param, для первых решите, нужны ли такие страницы в поиске.
Как найти дубли самому
- Вебмастер. «Индексирование» → «Страницы в поиске» → «Исключённые страницы», фильтр по статусу «Удалено: Дубль». В выгрузке архива у дублей статус DUPLICATE. Подробнее о разделах — в гиде по Яндекс Вебмастеру.
- Search Console. Отчёт об индексировании страниц показывает адреса, исключённые как дубли, а проверка URL — какой канонический адрес указали вы и какой выбрал Google.
- Поиск по сайту. Запрос
site:вашсайт.ru inurl:utmили с другим параметром быстро показывает, что попало в индекс. - Краулер. Любой SEO-краулер покажет страницы с одинаковым title и description: это первый признак дублей.
Как проверить, что исправилось
По справке Яндекса, робот узнаёт об изменениях при следующем посещении, а лишняя страница исключается из поиска в течение трёх недель, на больших сайтах — дольше. Поэтому:
- После правки robots.txt проверьте его в Вебмастере в инструменте анализа robots.txt: подставьте адрес с параметром и убедитесь, что правило срабатывает.
- Отправьте основные страницы на переобход.
- Через три–четыре недели снова откройте «Исключённые страницы» и уведомления в «Диагностике».
- Убедитесь, что внутренние ссылки, меню и sitemap ведут на канонические адреса, а не на версии с параметрами.
Если после этого страницы всё равно не появляются в поиске, причина может быть не в дублях. Разберите остальные варианты в статье о том, почему сайт не индексируется в Яндексе.
Дубли между сайтами
Отдельная история — когда ваш текст опубликован на другом сайте: перепост, синдикация, партнёрская статья. Справка Яндекса считает дубли в пределах одного сайта, а межсайтовые копии — это вопрос оригинальности. Как републиковать без вреда для первоисточника, разобрано в статье о синдикации контента.
Что делать дальше
Чистая индексация — основа, без которой остальное продвижение работает вполсилы. Чтобы увидеть общую картину по сайту, проверьте его в бесплатном индексе качества Satelo: за полминуты вы получите оценку от 0 до 100 и данные, из которых она сложилась, — в основном открытые, поэтому каждую цифру можно перепроверить.
Частые вопросы
Что значит «Найдены страницы-дубли с GET-параметрами» в Вебмастере?
Яндекс обнаружил, что адреса с разными параметрами (метки, сортировка, реферальные коды) отдают одинаковую страницу. Это не санкция, а подсказка: перечислите параметры, которые не меняют содержимое, в директиве Clean-param в robots.txt.
Что такое неканоническая страница в Яндексе?
Это страница, на которой стоит rel=canonical на другой адрес. Яндекс объединяет её с канонической и исключает из поиска. Если так задумано, всё в порядке; если нет, уберите неверный canonical.
Что лучше: Clean-param или canonical?
Для параметров, которые не меняют содержимое, Яндекс рекомендует Clean-param. Canonical подходит, когда дубль должен оставаться доступным людям, и когда важен Google: Clean-param — директива Яндекса.
Нужно ли закрывать UTM-метки в robots.txt?
По справке Яндекс сам отбрасывает большинство UTM-меток. Если в уведомлении всё же есть адреса с utm, добавьте их в Clean-param. Disallow для таких адресов не нужен: он перекроет Clean-param и страница выпадет из индекса.
Как быстро уходят дубли после исправления?
По справке Яндекса лишняя страница исключается из поиска в течение трёх недель после очередного визита робота, на больших сайтах дольше.
Опасны ли дубли страниц для сайта?
Санкций за дубли справка Яндекса не описывает. Проблема в другом: из поиска может пропасть нужная страница, копии конкурируют между собой, а робот тратит время на обход лишних адресов.
Читайте также




Узнайте индекс качества своего сайта
Бесплатно и без регистрации: оценка от 0 до 100 в основном по открытым данным. Затем добавьте сайт в Satelo и получайте партнёрские статьи от сайтов вашего уровня.
Введите домен, например example.ru
Добавить сайт