Гуглобот
упорно краулит сайт Даррена на
Next.js
только по
HTTP/1.1
, в то время как другие боты (например,
Bing
) используют
HTTP/2+
.
Это приводит к гораздо более медленному среднему времени ответа (776мс против 91мс на других сайтах), что влияет на эффективность краулингового бюджета.
Несмотря на наличие
Cloudflare
,
HTTPS
,
HSTS
-хидера, поддержки
HTTP/2
и
HTTP/3
, а также
TLS 1.2
, Google делает около 25,000 краулов в день, но всегда по
HTTP/1.1
.
Дейв Смарт:
1. Метрики времени ответа в
GSC
не эквивалентны
TTFB
- они показывают время до последнего байта
2. Сетевой уровень гуглбота работает иначе, чем браузеры:
- Браузеры фокусируются на быстром отображении страницы
- Гуглбот приоритизирует эффективный краулинг в масштабах интернета
- Ресурсы ставятся в очередь и краулятся не обязательно одновременно
3. Преимущества
HTTP/2
вроде мультиплексирования не критичны для краулинга/рендеринга/индексации
4.
HTTP/2
создает дополнительную нагрузку как для сайта, так и для клиента
5. Для сайтов с менее частым краулингом или сильно кэшируемых сайтов
HTTP/1.1
может быть эффективнее
6. Нет корреляции между
HTTP/2
и улучшением позиций в выдаче
Джон Мюллер:
1. Google регулярно проверяет хосты на поддержку и эффективность
HTTP/2
2. Для гуглбота основные преимущества
HTTP/2
:
- Мультиплексирование
- Сжатие хидеров
3. Критерии для перехода на
HTTP/2
:
- Сервер должен отвечать достаточно быстро
- 900мс для
HTTP
-страницы считается медленным
4. Главный фокус должен быть на улучшении скорости сайта
5. Более быстрое время ответа может привести к переходу на
HTTP/2
6. Увеличение краул-способности не обязательно означает увеличение краулинга
7. Рекомендуется проверить
SSR
(Server Side Rendering) и отдачу кэша как возможные причины колебаний времени загрузки
@MikeBlazerX