Недавно обновленная документация Google по "Инфраструктуре обхода" включает раздел "Оптимизация вашего бюджета обхода", который содержит рекомендации для веб-сайтов о том, как сделать больше страниц доступными для ботов поисковой системы. Эта тема имеет важное значение, поскольку страницы должны быть проиндексированы, чтобы появиться в результатах поиска Google. В документации подчеркивается необходимость "бюджета" из-за огромного количества URL-адресов по всему миру. Плохо организованный сайт, скорее всего, будет обходиться дольше и, следовательно, иметь меньше проиндексированных страниц.

Основные рекомендации Google

Каждый новый сайт начинает с "консервативного" бюджета обхода. При запуске сайта рекомендуется начинать с небольшого количества страниц, чтобы гарантировать, что "Google сможет охватить весь важный контент, не перегружая ваши серверы". Со временем бюджет обхода увеличивается в зависимости от размера сайта и частоты его обновлений.

Регулярные обновления, особенно если они автоматически включены в XML-карты сайта, побуждают Googlebot возвращаться и, вероятно, увеличивают бюджет обхода со временем. Например, обновляйте свой ассортимент продуктов и блог регулярно и постепенно. Вместо того чтобы запускать 100 продуктов в один день, рассмотрите возможность добавления трех новых продуктов в день на протяжении месяца.

Улучшение скорости загрузки сайта

Улучшение времени загрузки вашего сайта может повысить его бюджет обхода. Известно, что более быстрые сайты лучше обходятся. Мониторьте производительность вашего сайта и стремитесь улучшить его скорость. Популярные страницы получают более частый обход. Googlebot чаще обходит страницы с большим количеством входящих ссылок (как внешних, так и внутренних).

Дополнительные советы по улучшению частоты обхода

• Используйте команду disallow в robots.txt, чтобы заблокировать страницы, которые вы не хотите индексировать или видеть в SERP. Примеры могут включать страницы для частных логинов, корзин покупок и динамически сгенерированных страниц.
• Удаляйте или объединяйте дублирующийся контент.
• Избегайте мягких 404 страниц (удаленные страницы, которые возвращают код 200), так как Googlebot продолжит их обходить. Возвращайте 404 или 410 ответы, если страницы больше не существуют.
• Избегайте цепочек перенаправлений (нескольких перенаправлений для одной страницы).
• Используйте отчет о статистике обхода в Search Console (Настройки > Статистика обхода), чтобы отслеживать частоту обхода и проблемы, с которыми сталкивается Googlebot.

Осторожно с кэшированием URL

Google добавил новую рекомендацию по "кэшированию URL" в свои рекомендации: поддерживайте коды состояния HTTP 304 (Не изменялось). Если страница не изменилась с момента последнего обхода Google, возврат кода 304 говорит Google о том, чтобы использовать кэшированную версию, экономя ресурсы и пропускную способность вашего сервера. Мой опыт показывает, что следовать этой рекомендации следует только для несущественных страниц, таких как устаревшие продукты и страницы с политиками. Указание Google через код 304, что страница устарела, может повлиять на ее видимость в SERP или даже на статус индексации.