robots.txt и sitemap.xml для небольшого сайта: минимальная рабочая настройка

robots.txt для сайта — это текстовый файл в корне домена, который говорит роботам, какие адреса можно обходить, а sitemap.xml — список страниц, которые вы хотите показать поисковику. Небольшому сайту хватает короткого robots.txt из пяти-семи строк и автоматически собранной карты сайта. Ниже — минимальные шаблоны, типичные ошибки, особенности WordPress, Тильды и Битрикса и проверка в Яндекс Вебмастере и Search Console.

Опубликовано: 2026-10-16 · 6 мин чтения · Satelo

Зачем нужны robots.txt и sitemap.xml

Эти два файла решают разные задачи, и их часто путают.

• robots.txt управляет обходом: какие разделы робот не должен сканировать. По справке Google, файл нужен в первую очередь, чтобы управлять нагрузкой от сканирования, и он не предназначен для того, чтобы скрыть страницу из результатов поиска.
• sitemap.xml помогает найти страницы. Он ничего не запрещает и не гарантирует индексацию: в справке Яндекса прямо сказано, что попадание всех адресов из файла в поиск не гарантируется.

Отсюда главное правило: robots.txt — не инструмент удаления из поиска. Если страницу нужно убрать из выдачи, ей ставят noindex, а не закрывают в robots.txt. И Яндекс, и Google пишут, что закрытая в robots.txt страница может всё равно оказаться в поиске, например если на неё ссылаются. Причём робот, которому запрещён обход, не увидит и сам noindex — поэтому одновременно закрывать страницу в robots.txt и ставить ей noindex бессмысленно (это есть в справке Вебмастера по robots.txt).

Требования к robots.txt

По справке Яндекса файл должен:

• называться robots.txt и лежать в корне сайта: https://example.ru/robots.txt;
• отдаваться с кодом ответа 200;
• весить не больше 500 КБ;
• не содержать кириллицы: кириллические домены пишут в Punycode, пути — в URL-кодировке.

Если файл не соответствует требованиям, Яндекс считает сайт открытым для индексации. Регистр важен для путей и имён файлов (/Blog/ и /blog/ — разные правила), но не для названий директив.

Директивы, которые Яндекс перечисляет в справке: User-agent (обязательная), Disallow, Allow, Sitemap и Clean-param.

Минимальный robots.txt: условный пример

Для небольшого сайта или блога без фильтров и личного кабинета достаточно примерно такого файла (условный пример, замените пути и домен на свои):

User-agent: *
Disallow: /admin/
Disallow: /search/
Disallow: /cart/

Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term

Sitemap: https://example.ru/sitemap.xml

Что здесь происходит:

1. User-agent: * — правила для всех роботов. Отдельные блоки для Яндекса и Google маленькому сайту обычно не нужны.
2. Disallow закрывает служебные разделы, которые не несут пользы в поиске: админку, внутренний поиск, корзину.
3. Clean-param просит Яндекс не считать отдельными страницами адреса с UTM-метками. Директива межсекционная: по справке, её можно писать в любом месте файла. Google её не использует, для него дубли решают через canonical.
4. Sitemap указывает полный адрес карты сайта. Таких строк может быть несколько.

Если закрывать нечего, честный вариант — вообще без Disallow: только User-agent: * и строка Sitemap. Пустой Disallow: ничего не запрещает.

Директива Host больше не нужна

Во многих старых шаблонах есть строка Host: example.ru. В текущем списке директив в справке Яндекса её нет. Главный адрес сайта (с www или без, http или https) теперь задают редиректами со всех неглавных адресов на главный — так описано в справке об адресах сайта. Строку Host можно удалить, вреда от неё нет, но и пользы тоже.

Что нельзя закрывать в robots.txt

• CSS и JavaScript, от которых зависит вид страницы. Google разрешает закрывать второстепенные скрипты и стили, но не те, без которых роботу сложнее понять содержание (справка Google). Строки вроде Disallow: /wp-content/ или Disallow: /*.js из старых шаблонов лучше убрать.
• Страницы, которые должны выпасть из поиска. Им нужен noindex, а для этого робот должен их видеть.
• Сам файл sitemap. Яндекс требует, чтобы карта сайта не была запрещена в robots.txt.
• Весь сайт на время разработки — и забыть открыть. Disallow: / после запуска — частая причина того, что сайт не индексируется. Если это ваш случай, пройдите по чек-листу «сайт не индексируется в Яндексе».

Как правильно сделать sitemap.xml

Требования у Яндекса и Google почти совпадают:

Источники: справка Яндекса о Sitemap, справка Google о создании файла Sitemap.

Что включать в карту небольшого сайта:

• только адреса вашего домена и только в главной версии адреса (тот же протокол и www, что у сайта);
• полные адреса с протоколом: Google сканирует URL ровно в том виде, в каком они указаны;
• канонические страницы, которые вы хотите видеть в поиске: статьи, услуги, категории;
• честный lastmod: Google просит менять дату только при значимом изменении содержания, а не при смене года в подвале.

Чего в карте быть не должно: страниц с noindex, адресов с редиректом, закрытых в robots.txt разделов, адресов с UTM-метками и параметрами сортировки. Если карта противоречит robots.txt или canonical, вы сами посылаете поисковику смешанные сигналы.

Нужна ли карта крошечному сайту? Google пишет, что сайту примерно до 500 страниц с хорошей перелинковкой карта может быть не нужна (справка Google). Но на CMS она создаётся автоматически и ничего не стоит, а новому сайту с малым числом внешних ссылок помогает быстрее показать роботу все страницы. Поэтому пусть будет.

WordPress, Тильда и Битрикс: что уже сделано за вас

WordPress

Начиная с версии 5.5 WordPress сам создаёт карту сайта по адресу /wp-sitemap.xml и прописывает её в виртуальном robots.txt (анонс в блоге разработчиков WordPress). SEO-плагины вроде Yoast заменяют встроенную карту своей — тогда адрес будет другим, обычно его видно в настройках плагина. Две карты от разных плагинов одновременно держать не нужно.

Важная ловушка: если в «Настройки → Чтение» включена галочка «Попросить поисковые системы не индексировать сайт», встроенная карта отключается. Проверьте её после запуска сайта.

Физический файл robots.txt в корне имеет приоритет над виртуальным. Если вы его создали, строку Sitemap придётся дописать вручную.

Тильда

Тильда генерирует robots.txt и sitemap.xml автоматически, а редактировать robots.txt в конструкторе нельзя — так написано в ответах поддержки Тильды. Чтобы скрыть страницу из поиска, в её настройках есть пункт «Запретить поисковикам индексировать эту страницу». Остальные SEO-настройки Тильды мы разбирали в статье про SEO на Тильде.

1С-Битрикс

В модуле «Поисковая оптимизация» есть генератор robots.txt и генератор карты сайта, который может сам дописать адрес карты в robots.txt. Пошагово с официальными уроками — в разборе SEO на Битриксе. Главное для Битрикса — закрыть служебные адреса с параметрами (сортировки, фильтры, печать) через Clean-param и canonical, иначе дублей будет много.

Проверка в Яндекс Вебмастере и Search Console

1. Анализ robots.txt в Вебмастере. Инструмент показывает ошибки в файле и позволяет проверить конкретные адреса: разрешены они или нет. Если сайт ещё не добавлен, начните с инструкции по добавлению сайта в Яндекс.
2. Проверка ответа сервера в Вебмастере: robots.txt и sitemap.xml должны отдавать 200, а не редирект на главную или 404.
3. Анализ файлов Sitemap в Вебмастере — проверяет формат до отправки. Затем добавьте карту в раздел «Файлы Sitemap». По справке, обработка обычно занимает до двух недель.
4. Отчёт robots.txt в Search Console показывает, когда Google последний раз загрузил файл и какие нашёл ошибки. Повторное сканирование можно запросить, но справка Google советует делать это только в срочных случаях, например если по ошибке закрыли важные страницы.
5. Отчёт «Файлы Sitemap» в Search Console — отправьте адрес карты и через несколько дней посмотрите, сколько адресов обнаружено.

Где все эти разделы находятся в интерфейсе, подробно описано в нашем гиде по Яндекс Вебмастеру.

Чек-лист на 15 минут

• Откройте вашсайт.ru/robots.txt в браузере: файл есть, кириллицы нет, нет Disallow: /.
• Уберите строку Host и запреты на CSS/JS, если они остались от старого шаблона.
• Добавьте Clean-param для UTM-меток и строку Sitemap с полным адресом.
• Откройте карту сайта: адреса в главной версии домена, без noindex и редиректов.
• Проверьте оба файла в Вебмастере и Search Console и отправьте карту.
• На WordPress проверьте галочку видимости для поисковиков в «Настройки → Чтение».

Что делать дальше

robots.txt и карта сайта — гигиена: без них сайт может не индексироваться, но сами по себе они трафика не приносят. Дальше поисковику нужны поводы приходить и доверять сайту: новые страницы и упоминания на других тематических ресурсах.

Если сайт на WordPress, плагин Satelo подключается в один клик и публикует партнёрские статьи из сети взаимного продвижения, где сайты похожей тематики пишут друг о друге по кругу (ссылки в таких статьях размечены rel="sponsored"). Сеть сейчас в публичной бете и небольшая. А чтобы понять, с какого уровня вы стартуете, проверьте индекс качества сайта: за полминуты вы увидите оценку 0–100 и данные, на которых построено каждое число, в основном из открытых источников.

Частые вопросы

Как правильно составить robots.txt для сайта?

Для небольшого сайта достаточно блока User-agent: *, нескольких Disallow для служебных разделов (админка, поиск, корзина), Clean-param для UTM-меток и строки Sitemap с полным адресом карты. Файл кладут в корень сайта, он должен отдавать код 200 и весить не больше 500 КБ.

Можно ли закрыть страницу от индексации через robots.txt?

Надёжно — нет. Яндекс и Google пишут, что закрытая в robots.txt страница может попасть в поиск, например по внешним ссылкам. Чтобы убрать страницу из выдачи, поставьте ей noindex и не закрывайте её в robots.txt, чтобы робот увидел директиву.

Нужна ли директива Host в robots.txt?

Нет. В текущем списке директив справки Яндекса её нет. Главный адрес сайта задают редиректами со всех неглавных адресов на главный.

Где находится sitemap.xml на WordPress?

Встроенная карта WordPress (с версии 5.5) лежит по адресу /wp-sitemap.xml. Если стоит Yoast или другой SEO-плагин, он обычно заменяет её своей картой, адрес указан в настройках плагина.

Можно ли отредактировать robots.txt на Тильде?

По ответу поддержки Тильды — нет, файл генерируется автоматически. Отдельную страницу можно скрыть из поиска в её настройках, а для полного контроля над файлом проект придётся экспортировать на свой хостинг.

Сколько Яндекс обрабатывает sitemap?

По справке Вебмастера — обычно в течение двух недель после добавления. После изменения файла обновление данных в Вебмастере тоже может занять до двух недель.

Учитывают ли поисковики priority и changefreq?

Google их игнорирует, это прямо написано в его справке. Яндекс поддерживает эти теги и пишет, что учитывает priority при обходе, но индексацию это не гарантирует.

Читайте также

SEO на 1С-Битрикс: как настроить сайт для поискаНастройка SEO на Битрикс по шагам: модуль «Поисковая оптимизация», шаблоны метатегов инфоблоков, sitemap и robots.txt, умный фильтр, композит и типичные дубли.

Битые ссылки на сайте: как найти и исправить бесплатноКак проверить битые ссылки на сайте бесплатно: отчёты Яндекс Вебмастера и Search Console, краулеры, плагин WordPress, онлайн-проверка W3C и что делать с 404.

РСЯ для небольшого сайта: требования, модерация и подключение без мифовРСЯ для сайта по справке Яндекса: кто может подключиться, за что отклоняют на модерации, как поставить блоки на WordPress и не испортить скорость и отказы.

Микроразметка Schema.org для небольшого сайта: минимальный набор без лишнегоМикроразметка Schema.org для небольшого сайта: какие типы нужны, что стало с FAQ-сниппетами в Google, как добавить разметку в WordPress и Тильду и проверить.