Краулинговый бюджет

Краулинговый бюджет — число страниц сайта, которые поисковый робот может и хочет обойти за определённое время. Google описывает его как сочетание возможностей сканирования (сколько выдержит сервер) и потребности в сканировании (насколько роботу интересен сайт из-за популярности и обновлений).

Обновлено: 2026-10-16 · Глоссарий: Обход и индексация

Кому это важно

В руководстве Google о краулинговом бюджете сказано, что оно рассчитано в основном на крупные сайты (от миллиона страниц, которые меняются раз в неделю), сайты от 10 000 страниц с ежедневными изменениями и сайты, у которых много адресов в статусе «Обнаружена, не проиндексирована». Небольшим сайтам, по словам Google, обычно достаточно актуального файла sitemap и контроля индексации.

Почему это всё же касается маленьких сайтов

У маленького сайта редко заканчиваются возможности сканирования, но часто низкая потребность: мало ссылок и упоминаний — робот приходит редко. Внешне это похоже на нехватку бюджета (новые страницы неделями не в индексе), но причина в слабых сигналах. Что проверить в Яндексе — в статье Почему сайт не индексируется в Яндексе. Полезные шаги:

• Не тратьте обход впустую: уберите бесконечные адреса с параметрами, закройте тонкие архивы меток через noindex, исправьте цепочки редиректов.
• Следите за скоростью и стабильностью сервера: ошибки снижают объём сканирования.
• Держите чистый sitemap.xml и сообщайте об изменениях через IndexNow — его поддерживает Яндекс.
• Повышайте интерес робота реальными упоминаниями на тематических сайтах.

Отчёты об обходе в Яндексе смотрите в Яндекс Вебмастере.

При чём здесь Satelo

Satelo не управляет обходом. Индекс качества учитывает сигналы, которые видит и робот (размер sitemap, свежесть, скорость ответа), а партнёрская статья на тематическом сайте сети — ещё одно место, где роботы и читатели могут найти ваш сайт. Индексацию и позиции Satelo не обещает.

Связанные термины

• noindex: noindex — директива, которая запрещает поисковым системам показывать страницу в результатах поиска.
• IndexNow: IndexNow — открытый протокол, с помощью которого сайт сразу сообщает поисковым системам-участникам, что страница добавлена, изменена или удалена, не дожидаясь следующего обхода.
• Индекс качества Satelo: Индекс качества Satelo — оценка сайта от 0 до 100, построенная в основном на открытых данных: рейтинги популярности, открытые ссылочные графы, возраст домена и обход самого сайта (контент и техническое состояние).

← Все термины глоссария