В последние годы наблюдается резкий рост трафика на веб-сайты, но, как показывает практика, 99% этого трафика составляют не люди. Разработчик благотворительной базы данных PatronView обнаружил, что из 1,28 миллиона загруженных страниц менее шести тысяч были просмотрены живыми пользователями. Это приводит к шокирующему выводу: на каждую страницу, которую видит человек, приходится 214 загрузок, которые никто не увидит. Таким образом, мы наблюдаем новую норму в интернете, где боты становятся основными посетителями.

Разнообразие ботов

Существует несколько типов ботов, которые посещают сайты:

• Честные SEO-краулеры (например, SemrushBot, AhrefsBot), которые индексируют контент.


• Боты для обучения моделей (например, GPTBot, ClaudeBot), которые выкачивают данные для обучения.


• Поисковые ИИ-краулеры (Claude-SearchBot, Amzn-SearchBot), которые создают значительную нагрузку на серверы.


• Агентные боты, которые действуют по запросам пользователей.

В апреле автор исследования столкнулся с настоящим штормом: 3,6 миллиона запросов за день от 361,844 уникальных IP-адресов, в основном из Китая. Cloudflare смог заблокировать 1,18 миллиона из них за десять часов, но даже после этого значительная часть ботов проходила капчу. В результате автору пришлось заблокировать доступ из целых стран, таких как Китай, Вьетнам и Сингапур, чтобы защитить свой сайт от ботов.

Коэффициент прожорливости

Ключевой метрикой, которая иллюстрирует проблему, является соотношение страниц, скачиваемых ботами, к количеству реальных посетителей. Ранее это считалось честной сделкой: краулер индексирует сайт и взамен приводит пользователей. Однако сейчас ситуация изменилась. Например, Cloudflare сообщает, что краулеры Anthropic делают около 3000 обходов на одного посетителя, тогда как автор исследования зафиксировал 35,000 к 1.

В частности, Claude-SearchBot запросил 420,680 страниц за неделю, а Claude-User привёл всего 12 реальных посетителей. Это подчеркивает, насколько сильно изменился интернет-трафик: на одного реального пользователя приходится колоссальное количество запросов от ботов.

Примеры из реальной жизни

Сайт The Numbers, созданный Брюсом Нэшем, также стал жертвой ботов. С момента своего запуска в 1997 году сайт вырос до базы данных с 78,396 фильмами. Однако в 2026 году он исчез на неделю из-за атаки ботов, которые пытались получить доступ к внутренним данным о кассовых сборах. После восстановления сайт был значительно урезан, что привело к изменению подхода к проектированию и обслуживанию.

Изменения в SEO и контенте

С ростом доли ИИ-ответов в поисковых системах, которая увеличилась с 15% до 43% за полтора года, классическое SEO уступает место новым подходам, таким как GEO и AEO. Это означает, что сайты должны оптимизироваться не только для попадания в топ-10, но и для включения в ИИ-ответы. Издатели, такие как USA Today и Politico, начинают пересматривать свои отношения с Google, так как потеря трафика становится критической.

Защита от ботов

Несмотря на сложность ситуации, существуют способы защиты от ботов. Например, автор исследования использовал набор правил на Cloudflare, который блокировал определённые краулеры и применял капчи для пользователей из других регионов. Однако это решение не всегда эффективно, и многие боты продолжают обходить защиту.

Инновации в шрифтах и протоколах

Интересным решением стала разработка шрифта ShieldFont, который отображает один текст для людей и другой для ботов. Этот шрифт использует технологию OpenType для замены слов, что затрудняет индексацию контента. Кроме того, Cloudflare совместно с браузерами разрабатывает протокол Private Access Control Tokens (PACT), который будет выдавать анонимные токены для подтверждения, что посетитель является живым человеком.

Будущее интернета

Интернет 2026 года значительно отличается от того, что нам обещали в девяностых. Вопрос не в том, вернётся ли всё как было, а в том, сможем ли мы адаптироваться к новым условиям, где большая часть трафика составляют боты. Это требует переосмысления подходов к контенту, SEO и взаимодействию с пользователями.