Оптимизация бюджета: прекратите тратить ресурсы на Googlebot
Я потерял счет тому, сколько раз я видел, как сайт вливал месяцы работы в контент, редизайн и построение ссылок — только для того, чтобы смотреть, как Googlebot тратит свое драгоценное время.бюджетна бесконечных ограненных фильтрах, осиротевших старых пресс-релизах и тонких партнерских страницах. Результат? Страницы, которые действительно приносят доход, никогда не индексируются, не говоря уже о ранжировании.
Crawl budget — одна из тех технических концепций SEO, которая звучит абстрактно, пока вы не поймете, что это разница между запуском вашего нового продукта, появляющегося в результатах поиска через неделю или четверть. В этом руководстве я покажу вам, как провести аудит, оптимизировать и остановить Googlebot от сжигания своего ограниченного времени на вашем сайте.
Почему бюджетные вопросы для SEO
Давайте начнем с основ. Googlebot имеет ограниченное количество времени на каждом веб-сайте. Этот «ползучий бюджет» определяется двумя факторами:
- Ограничение скорости сканированияСколько одновременных подключений Googlebot сделает на ваш сервер
- Спрос на сползаниеНасколько интересен Google находит ваши URL-адреса (в зависимости от популярности, свежести и исторической важности).
Для небольших блогов это редко имеет значение. Но для магазинов электронной коммерции, новостных сайтов или корпоративных веб-платформ плохой бюджет сканирования может оставить тысячи ценных URL-адресов неиндексированными. Я работал с розничным продавцом среднего размера, у которого было 200 000 страниц продуктов, но Googlebot сканировал только 8 000 в день. Большинство сканированных URL-адресов были фильтрами категорий и граненой навигацией с тонким контентом. Коллекция нового сезона не была полностью проиндексирована в течение трех месяцев.
Когда Googlebot проводит свое время на страницах с низкой стоимостью, страницы, которые на самом деле привлекают трафик, такие как страницы продуктов, целевые страницы и краеугольные страницы блогов, попадают в заднюю часть очереди. Результатом является более медленная индексация, более низкая органическая видимость и потерянные ресурсы сервера.
3 столпа оптимизации бюджета
За последнее десятилетие я свел оптимизацию бюджета сканирования к трем основным областям: производительность сервера, архитектура сайта и качество контента. Игнорируйте любой из них, и вы увидите, как Googlebot вращает свои колеса.
1.Серверная производительность
Googlebot - жестокий аудитор. Если ваш сервер реагирует медленно или возвращает ошибки, он немедленно снизит скорость сканирования. Согласно собственной документации Google, скорость сканирования частично определяется тем, как быстро ваш сервер может обрабатывать запросы.
Я рекомендую запланировать анализ лог-файлов для определения времени отклика вашего сервера и частоты ошибок. Ищите ошибки 5xx, тайм-ауты и высокие значения TTFB. Если вы видите шипы, обратитесь к ним, прежде чем делать что-либо еще. Более быстрый сервер приносит вам более высокую скорость сканирования, что означает, что больше ваших хороших страниц посещаются.
2 Архитектура сайта
Внутренние ссылки - это вода, которая питает корневую систему вашего сайта. Googlebot использует ссылки для поиска новых страниц и понимания относительной важности. Плоская архитектура, в которой каждая важная страница доступна в течение трех кликов от главной страницы, позволяет Googlebot распределять свой бюджет там, где это важно.
Я также обращаю пристальное внимание на ваши карты сайта XML. Они действуют как прямой сигнал Google о том, какие URL-адреса являются наиболее важными. Убедитесь, что ваши карты сайта содержат только канонические, индексируемые страницы. Если вы создаете карты сайтов с гранеными URL-адресами, вы фактически говорите Googlebot, чтобы он спустился в кроличью нору с тонким контентом.
3. качество контента
Тонкий, дублированный или недорогой контент - самый быстрый способ сканировать бюджет. Каждый раз, когда Googlebot обнаруживает страницу типа «продукт-категория?цвет = красный»&Размер = большой, он рассматривает его как отдельную цель ползания. Вскоре ваш сервер будет обслуживать сотни почти идентичных URL-адресов с нулевым дополнительным значением.
Используйте Google Search ConsoleCrawl Статистикаотчет, чтобы увидеть, сколько страниц обнаруживает Googlebot, по сравнению с тем, сколько он на самом деле сканирует с высоким приоритетом. Если количество обнаруженных страниц намного выше, чем сканированных страниц, у вас есть утечка бюджета сканирования.
Как проверить бюджет Crawl
Прохождение аудита, проверенное с помощью текущего тестера Google Search Console Crawl Stats и robots.txt, сентябрь 2026 года — пути меню меняются, поэтому подтвердите имена, если ваш GSC выглядит иначе.
Выполнение ползучего бюджетного аудита является практическим упражнением — ни один инструмент не может полностью автоматизировать его. Вот пошаговый процесс, который я использую с каждым корпоративным клиентом.
Шаг 1: Соберите файлы журнала сервера
Журналы серверов являются единственным источником правды о том, что на самом деле сканировал Googlebot. Экспортировать не менее двух недель журналов (длиннее, если у вас еженедельный цикл публикации). Вы можете использовать такие инструменты, какScreaming Frog Log File АнализаторилиукреплятьЧтобы разобрать их.
Шаг 2: Сегмент хитов Googlebot
Отфильтровать весь неботовый трафик. Затем сегментируйте запросы Googlebot по шаблону URL, коду состояния, частоте сканирования и передаваемым байтам. Ищите шаблоны:
- Высокая частота сканирования на малоценных участках:Это фильтр? Страницы получают 500 просмотров, в то время как /product/123 получает только 50.
- 4xx и 5xx ошибки:Каждый скан на мертвой странице теряет бюджет.
- Перенаправить цепи:Googlebot следует до пяти прыжков, прежде чем сдаться.
Шаг 3: Сравните индексное покрытие
Перекрестная ссылка сканировала URL-адреса с отчетом об охвате индекса Google Search Console. Вы хотите увидеть высокое соотношение сканированных к индексированным URL. Если Googlebot сканирует 50 000 страниц в день, но индексирует только 10 000, это явный признак того, что бюджет тратится на неиндексируемый контент.
Я видел сайты, где 60% сканированных URL возвращали мягкие 404 или были явно заблокированы noindex, но Googlebot продолжал нажимать на них из-за внутренних ссылок из устаревших шаблонов.
Ключевые инструменты для анализа бюджета Crawl
Вам не нужно гадать — современные инструменты дают вам рентгеновское представление о том, как Googlebot перемещается по вашему сайту. Вот те, на которые я полагаюсь больше всего, каждый с прямой ссылкой:
- Screaming Frog Log File Анализатор- мой путь к анализу бюджетных журналов. Показывает частоту сканирования, использование полосы пропускания и распределение кода состояния бесплатно для 1000 URL-адресов.
- укреплять- Энергетический центр. Их Real User Monitoring (RUM) и смоделированные данные сканирования позволяют моделировать, что происходит при изменении архитектуры вашего сайта.
- Lumar (ранее DeepCrawl)Отлично подходит для обнаружения неэффективности сканирования, такой как обработка параметров и страницы-сироты.
- Скарабкаться- предоставляет отчеты о бюджете сканирования, которые подчеркивают потерянную активность сканирования и риски загрузки сервера.
- Аудит сайта Ahrefs- дает вам предполагаемый бюджет сканирования на основе производительности вашего сайта и внутренней структуры ссылок.
- Sitebulbотлично подходит для визуализации внутреннего потока ссылок и обнаружения бюджетных черных дыр, таких как петли переадресации.
Оригинальное название: Log File Analysis Tools
| Инструмент | Стартовая цена | Log File Анализ файлов | Crawl Бюджетные отчеты | Метрики производительности сервера |
|---|---|---|---|---|
| Кричащая лягушка | Бесплатно / £ 149 / год | Да. | Базовые (обычные отчеты) | Да (из бревен) |
| укреплять | Энтерпрайз (цитата) | Да. | Да, с бюджетным моделированием | Включает RUM |
| Лумар | Энтерпрайз (цитата) | Да. | Да, с бюджетными оценками | Да (журналы серверов + данные) |
| Скарабкаться | $79/моль | Да. | Да, выделенная бюджетная панель | Да (включая время ответа) |
| Ahrefs | €99/mo | Нет (только краулер) | Оценка на основе данных сканирования | Базовые (только коды состояния) |
| Sitebulb | $59/моль | Нет (только краулер) | Да, с помощью анализа внутренних ссылок | Базовая (Redirect chain info) |
Как видите, если вы серьезно относитесь к бюджету сканирования, вам нужен инструмент, который обрабатывает ваши фактические журналы сервера. Sitebulb и Ahrefs отлично подходят для общего аудита сайта, но не дают вам реальных данных сканирования, которые предоставляют журналы.
Расширенные стратегии: приоритетность бюджета
Как только вы определили утечки, пришло время обратить внимание Googlebot на страницы, которые имеют наибольшее значение. Вот четыре продвинутые тактики, которые я использую на больших сайтах.
1.Использоватьlastmodв Sitemaps
Googlebot использует<lastmod>Тег в XML Sitemaps как сигнал свежести. Если вы часто обновляете карту сайта и точно указываете время каждой страницы, Googlebot будет быстрее переписывать последние страницы. Будьте осторожны — неточныеlastmodЗначения (например, включение сегодняшней даты в каждый URL) могут подорвать доверие и привести к тому, что Google проигнорирует вашу карту сайта.
2. Внедрение правильной граненой навигации
Облегченная навигация является самым большим расходом на бюджет сканирования для сайтов электронной коммерции. Многие платформы генерируют тысячи бесполезных комбинаций.?color=red&size=large&sort=priceРекомендую использоватьnoindexдля малоценных граней и блокирования самых дорогих паттерновrobots.txtЕще лучше переключиться на фильтрацию на основе JavaScript, которая не генерирует новые URL-адреса.
3. Контрольная частота сканирования в консоли поиска Google
Консоль поиска Google позволяет запрашивать изменение скорости сканирования. Если у вас есть сервер, который может обрабатывать больше трафика, вы можете запросить более высокую скорость. И наоборот, если ваш сервер находится в состоянии стресса, вы можете замедлить его. Но эффект временный — Google в конечном итоге будет корректировать свои данные. Тем не менее, это полезный рычаг во время миграции сайта или обновления сервера.
4. Ликвидация страницы сирот
Страницы-сироты не связаны с каким-либо местом на вашем сайте, поэтому Googlebot должен полагаться на карты сайта или внешние ссылки, чтобы найти их. Тем не менее, я видел случаи, когда страницы-сироты сканировались неоднократно, потому что они все еще появляются в индексе Google из прошлых кампаний. Каждое сканирование на странице, на которую никто не ссылается, накладно. Либо перенаправить их соответствующим родителям, либо удалить их полностью.
Бюджетные ошибки, которые я вижу каждый день
После проверки сотен сайтов я вижу те же ошибки. Следите за этими:
- Блокировка всего с помощью robots.txt:Некоторые команды чрезмерно агрессивно блокируют разделы, случайно блокируя страницы, которые необходимо проиндексировать. Используйте robots.txt только для несущественных каталогов (например,
/assets/или/admin/). - Игнорирование мягких 404:Googlebot рассматривает сообщение «страница не найдена», которое возвращает статус 200 как мягкий 404. Он будет продолжать ползать по ней, тратя бюджет. Всегда возвращайте реальный 404 или 410.
- Чрезмерная оптимизация карт сайта:В том числе каждый URL (даже noindex) раздувает вашу карту сайта и путает Google. Держите карты сайта наклонными.
- Забудьте о цепочках перенаправления:Каждый редирект добавляет запрос. Со временем несколько хмеля могут потреблять значительный бюджет.
FAQ о оптимизации бюджета
Как часто Googlebot сканирует мой сайт?
Это зависит от популярности вашего сайта, частоты обновления и производительности сервера. Новостной сайт с высоким трафиком можно сканировать ежедневно, а статичный кулинарный блог можно сканировать еженедельно или ежемесячно. Вы можете увидеть частоту сканирования в Google Search ConsoleCrawl Статистика.
Влияет ли бюджет на небольшие сайты?
Не типично. Большинство небольших сайтов имеют менее нескольких тысяч URL-адресов, поэтому Googlebot обычно может обрабатывать полную загрузку в течение нескольких часов. Однако, если у вас есть небольшой сайт с проблемами с сервером или тонким контентом, подавляющим бюджет, это все равно может повлиять на индексацию.
Могу ли я увеличить свой бюджет?
Косвенно, да. Улучшение скорости сервера, создание высококачественного контента, привлекающего ссылки, и поддержание чистой архитектуры сайта. Это сигнал Google, что ваш сайт заслуживает большего внимания. Вы также можете запросить временное увеличение скорости сканирования в консоли поиска, но эффект исчезнет, если ваш сервер не сможет поддерживать скорость.
Что такое хорошая скорость ползания?
Универсального числа не существует. Сравните свою скорость сканирования с общим индексируемым количеством URL. Если у вас 50 000 проиндексируемых страниц, а Googlebot сканирует 5000 в день, это 10% ежедневное покрытие — отлично подходит для сайта, который не обновляется ежедневно. Если вы сканируете 5000, но только 1000 важны, это проблема.
Сколько времени требуется Googlebot, чтобы восстановиться после изменений?
Если вы вносите структурные изменения (например, удаляете тонкие страницы или очищаете перенаправления), Googlebot обычно занимает от одной до четырех недель, чтобы отразить изменение шаблона сканирования. Отправка новой карты сайта или использование инструмента проверки URL «Индексирование запросов» может ускорить процесс.
Прекратите тратить свой бюджет сегодня
Оптимизация бюджета не является одноразовым решением. Это постоянная дисциплина, которая окупается каждый раз, когда Googlebot касается вашего сайта. Выравнивая производительность сервера, архитектуру сайта и качество контента, вы посылаете четкий сигнал: «Сначала пролистайте мои лучшие страницы».
Я видел, как сайты утроили свои проиндексированные страницы в течение трех месяцев, просто очистив свои внутренние ссылки и удалив недорогие URL-адреса из пути сканирования. Это означает больше органического трафика, более быструю индексацию нового контента и меньшую загрузку сервера.
Если вы не знаете, с чего начать, или вы все перепробовали и все еще видите, как Googlebot тратит время на неправильные страницы.Свяжитесь с нами на DG10 AgencyНаши.Техническая команда SEOСпециализируется на оптимизации бюджета сканирования, анализе файлов журналов и планировании архитектуры сайта. Мы поможем вам убедиться, что каждый ползает.
Не позволяйте плохому бюджету сканирования сдерживать потенциал вашего сайта. Давайте исправим это.
Продолжай читать
Если это руководство помогло, они углубятся в системы, стоящие за ним: