4 июня 2026 года генеральный директор Cloudflare Мэтью Принс озвучил важную цифру: бот- и агентный ИИ-трафик впервые превысил человеческий, составив 57,5% против 42,5% всех HTTP-запросов в интернете. Это означает, что более половины запросов к вашему сайту генерируют не люди, а автоматизированные системы. Для владельцев сайтов это открывает два ключевых аспекта: необходимость адаптации серверной инфраструктуры к новым условиям и возможность использования этого трафика для привлечения реальных посетителей.

Источники роста ИИ-трафика

Рост ИИ-трафика не ограничивается традиционными поисковыми роботами. Новые источники включают агентные браузеры и ИИ-агенты, которые не просто индексируют страницы, но и активно взаимодействуют с ними: переходят по ссылкам, заполняют формы и сравнивают цены. По данным отчета HUMAN Security, опубликованного 26 марта 2026 года, трафик ИИ-агентов вырос на 7851% в годовом исчислении, что стало возможным благодаря практически отсутствию такого трафика в предыдущие годы. В то же время, общий автоматизированный трафик увеличился на 23,51%, тогда как человеческий трафик вырос всего на 3,1%.

Пиковые нагрузки на сервер

Согласно данным Fastly Threat Insights, один ИИ-краулер способен генерировать до 39 000 запросов в минуту, что эквивалентно 650 запросам в секунду. Для сайтов, не подготовленных к таким нагрузкам, это может привести к сбоям, которые не связаны с атаками. Важно понимать, что такие нагрузки могут возникать и от легального трафика, что делает защиту от них более сложной задачей.

В России ситуация пока менее критична, но тренды аналогичны. По данным Servicepipe, в июне 2026 года доля ИИ-трафика на сайтах СМИ возросла с 0,5% до 1%, а на e-commerce площадках — с 0,3% до 1%, достигая 3-3,5% в пиковые моменты.

Проблема robots.txt

Многие владельцы сайтов пытаются решить проблему чрезмерного трафика, добавляя директивы в файл robots.txt. Однако стоит помнить, что этот файл является лишь рекомендацией для краулеров, а не строгим ограничением. Добросовестные поисковые роботы следуют этим указаниям, в то время как агрессивные ИИ-краулеры могут игнорировать их.

Эффективные решения для инфраструктуры

Для борьбы с пиковыми нагрузками и оптимизации работы сайта можно использовать следующие инструменты:

• Ограничение частоты запросов (rate-limiting) — позволяет контролировать количество запросов от одного источника, предотвращая создание чрезмерной нагрузки.
• Списки проверенных краулеров — открывают доступ к сайту для известных и надежных ботов, таких как Googlebot и YandexBot, в то время как остальные проверяются дополнительно.
• Кеширование — позволяет снизить нагрузку на сервер, отдавая страницы из кеша, а не генерируя их заново при каждом запросе. Это особенно важно для платформ, таких как Аспро, где типовые страницы по умолчанию отдаются из кеша.

Видимость в ответах ИИ

Краулеры, создающие нагрузку на сервер, также являются теми же механизмами, через которые сайт может попасть в ответы ИИ. Нейросети обращаются к сайтам через ИИ-агентов, и чем понятнее сайт для краулера, тем выше вероятность, что он будет упомянут в ответах. Для проверки видимости сайта в ответах ИИ можно использовать инструменты, такие как Яндекс Вебмастер, который показывает долю упоминаний сайта и динамику по времени.

Влияние авторства на цитируемость

Одним из факторов, влияющих на цитируемость, является наличие реального автора у материала. Нейросети, как и люди, обращают внимание на авторитетность источника. Согласно данным Sostav.ru, материалы с указанным автором цитируются в ИИ-ответах в 78% случаев, тогда как обезличенные тексты — лишь в 23% случаев. Это подчеркивает важность создания контента с реальными авторами, что может значительно повысить трафик из ИИ-ответов.

Экономические аспекты

Несмотря на то, что ИИ-агенты создают нагрузку на сервер, в рекламной аналитике они часто не учитываются. Это создает разрыв между реальными затратами на инфраструктуру и показателями, которые фиксируют только человеческий трафик. Игнорировать эту проблему не стоит, так как нагрузка на сервер реальна, и цитирование в ответах ИИ уже приносит трафик.

Заключение

Бот-трафик больше не является исключением, а стал нормой, занимая более половины всего трафика в интернете. Владельцы сайтов должны адаптировать свою инфраструктуру к новым условиям и обеспечивать качество контента, чтобы ИИ-агенты могли его цитировать. Игнорирование этих изменений может привести к упущенным возможностям и снижению эффективности работы сайта.