Краулинговый бюджет Google: зачем крупным сайтам код 304
Если вы владелец сайта на 30 страниц, эту новость можно пропустить: Google и так успевает сканировать такие сайты с огромным запасом. А вот если у вас каталог на десятки тысяч товаров, цены и наличие которых меняются каждую неделю, обновление документации Google напрямую касается того, как быстро эти изменения попадут в поиск.
Кратко о главном
22-23 июля 2026 года Google обновил раздел «Optimize your crawl budget» в документации Search Central (часть раздела Crawling infrastructure). Три ключевых уточнения:
- Лимит растет со временем. Каждый сайт начинает с одинакового консервативного лимита сканирования. Если сайт стабильно и быстро отвечает, а спрос на сканирование есть, Google поднимает лимит автоматически.
- Лимит общий для всех краулеров. У Googlebot, Googlebot-Image, AdsBot и других краулеров свой спрос на сканирование, но верхняя граница мощности одна на весь сайт. Если один краулер сильно нагружает сервер, остальным остается меньше.
- Прямая рекомендация поддерживать код 304. Если страница не изменилась с прошлого сканирования, сервер может ответить 304 Not Modified вместо полного содержимого. Google использует закешированную версию, а сэкономленный ресурс тратит на страницы, которые действительно обновились.
Это не новый алгоритм и не принудительное изменение. Google формализовал практику, которую технические SEO-специалисты применяли и раньше.
Касается ли это вашего сайта
Google сам назвал аудиторию рекомендаций:
| Тип сайта | Касается? |
|---|---|
| Больше 1 млн страниц | Да |
| Больше 10 000 страниц, которые часто меняются | Да |
| Каталог на несколько тысяч товаров, который растет | Стоит заложить заранее |
| Сайт услуг, лендинг, небольшой магазин | Практически нет |
Если ваш сайт в последней строке, тратить время разработчика на 304 ради краулингового бюджета не стоит. Важнее базовые вещи: скорость загрузки, корректная индексация, отсутствие дублей.
Если каталог сейчас на несколько тысяч позиций, но через полгода перерастет 10 000, поддержку 304 лучше заложить в архитектуру сразу, а не переделывать потом.
Как это выглядит на практике
Представим каталог из 40 000 карточек, из которых примерно 5% в неделю реально меняются: цена, наличие, описание. Это 2 000 страниц.
Без 304. Сервер на каждый запрос отдает код 200 и полное содержимое. Googlebot тратит одинаковый ресурс и на 2 000 обновленных карточек, и на 38 000 неизменных. Новая цена может появиться в поиске с задержкой, и ни Search Console, ни какие-либо предупреждения об этом не скажут.
С 304. Для 38 000 неизменных страниц сервер отвечает 304, и высвободившийся ресурс краулер направляет на быстрое повторное сканирование тех 2 000, что изменились. Обновленные цены и статусы наличия быстрее попадают в выдачу.
Как проверить свой сайт
Шаг 1. Есть ли поддержка 304. Отправьте на страницу запрос с заголовком If-Modified-Since или If-None-Match, например через curl -I. Если страница не менялась после указанной даты, а сервер все равно отвечает 200 с полным содержимым, поддержки 304 нет.
Шаг 2. Что видит Google. В Search Console откройте «Настройки → Статистика сканирования». Там за последние 90 дней видно распределение по кодам ответа, типам файлов и краулерам Google.
Шаг 3. Тест на некритичных страницах. Прежде чем включать 304 на весь каталог, проверьте его на архивных товарах, старых новостях или служебных страницах.
Главный риск: ложный 304
Код 304 полезен, только если сервер правильно определяет, что страница не изменилась. Если CDN или прокси настроены неверно и отдают 304 даже для карточки с новой ценой, Google просто не увидит изменения, и переиндексация реального обновления задержится.
Поэтому проверять нужно две вещи отдельно: что сервер технически умеет отдавать 304, и что логика «страница не изменилась» работает корректно.
Почему это стоит показать разработчикам
Раньше кеширование через 304 считалось рекомендацией по скорости сайта, и в списке задач разработки оно часто проигрывало более заметным доработкам. Теперь это официальная рекомендация Google именно в контексте сканирования. Такой аргумент проще использовать, когда нужно обосновать приоритет технической задачи, которая не дает видимого результата за один спринт.
Наша оценка
Отдельно измерить, насколько ускоряется переиндексация после внедрения 304, мы еще не успели: обновление слишком свежее для статистики по клиентам. Но проверка кодов ответа сервера давно входит в наш технический SEO-аудит для любого сайта с большим каталогом. Новость не меняет методику, а подтверждает, что направление верное.
Частые вопросы
Что такое краулинговый бюджет? Объем ресурса, который Google готов потратить на сканирование сайта за определенный период: сколько страниц и как часто Googlebot успевает посетить с учетом спроса на сканирование и возможностей сервера.
Нужно ли срочно что-то менять? Для большинства сайтов нет. Рекомендация касается сайтов с миллионом страниц и больше или с 10 000 и больше часто меняющихся страниц.
Чем 304 отличается от 200? 200 означает, что сервер вернул полное содержимое. 304 означает, что страница не изменилась, и Googlebot может использовать сохраненную версию без повторной загрузки.
Влияет ли это на позиции? Напрямую нет, это не фактор ранжирования. Эффект косвенный: Google быстрее замечает и переиндексирует изменения на сайте.
Касается ли это товарных фидов Merchant Center? Нет. Документация говорит о сканировании HTML-страниц сайта, а фид Merchant Center обновляется по другому механизму.
Итог
Для небольших сайтов обновление ничего не меняет. Для крупных каталогов и быстро растущих сайтов вывод конкретный: проверьте, отдает ли сервер 304 для неизменных страниц, и убедитесь, что он не делает этого для страниц, которые изменились.
Если хотите понять, тормозит ли краулинговый бюджет индексацию вашего сайта и что исправлять первым, напишите мне. Технический аудит входит в SEO-продвижение, а если сайт только создается, поддержку 304 можно заложить на этапе разработки.