Каждый раз, когда вы используете такие веб-сайты, как Google или ChatGPT, ваш браузер и набор серверов ведут длинный и удивительно откровенный разговор о том, что вы запросили. Этот разговор можно увидеть в разделе "Сеть" инструментов разработчика Chrome, доступном всего одним нажатием клавиши F12, и большинство людей никогда не обращают на это внимания. Я потратил значительное количество времени, изучая эти данные, и хочу поделиться тем, что я узнал.
Изучение сетевых данных привело меня к обнаружению уязвимости в поисковой системе Google, за которую мне был выплачен вознаграждение в размере 13,337 долларов. Это дало мне представление о том, как работает Google, включая названия его параметров и фактические значения, такие как site_quality_score и rq_semantic_class. Я также стал одним из первых, кто обнаружил различные источники, из которых ChatGPT получает свои результаты, а также временные рамки свежести, которые он запрашивает при поиске. Доказательства показывают, что Reddit по-прежнему активно используется ChatGPT, несмотря на то, что ссылки на него стали реже встречаться.
Не требуется команда по анализу данных, чтобы понять эти вещи. Достаточно любопытства, браузера и, в наши дни, агента ИИ, готового заняться рутинной работой. Суть в том, что знание того, чего не знают ваши конкуренты, является одним из немногих устойчивых преимуществ в SEO, и это одно из последних мест, где такая информация все еще доступна бесплатно.
Почему это стоит делать
"Почему?" — это разумный вопрос, который, я подозреваю, задают себе многие SEO-специалисты. Я люблю играть в игры, особенно в видеоигры, и мне нравится новый вызов — выяснить, как победить. Это и есть моя игра. Например, мой лучший друг недавно научил меня играть в нарды. Как и в любой новой игре, я изучил правила и затем многократно проигрывал; знание правил игры не равняется умению играть в нее хорошо. Я проиграл около 20 или 30 игр подряд. В какой-то момент, вместо того чтобы просто наслаждаться игрой, я начал искать небольшие преимущества. Например, я выяснил, какие расстояния на доске реально достижимы с помощью двух кубиков и насколько вероятно каждое из них. Это важно, потому что позволяет понять, где нужно блокировать противника и где можно безопасно оставить фигуру открытой.
Аналогия с бумагой, ножницами и камнем
Я обнаружил аналогию, которая, как я знаю, полезна для объяснения этого подхода клиентам или менеджерам, используя игру "камень, ножницы, бумага". Представьте, что вы играете бесконечные раунды против кого-то, чей заявленный стратегический подход — всегда играть камнем. Какой оптимальный способ играть против него? Многие сразу скажут, что нужно играть бумагой каждый раз, но это будет ошибочным решением. Хотя вы выиграете первые пять или десять игр, ваш противник заметит, что проигрывает, и изменит свою стратегию. Оптимальный подход — играть случайно, но немного чаще использовать бумагу. Ваше "оптимизация" будет, вероятно, незаметна для противника, и, не имея очевидной причины для адаптации, вы медленно, но верно создадите все возрастающее преимущество.
Черные и белые шляпы; Ожидаемая ценность (EV)
Аналогия с бумагой, ножницами и камнем в значительной степени отражает аргумент между черными и белыми шляпами в SEO. Черные шляпы действительно работают, и вы можете заработать много денег. В нашей аналогии черная шляпа — это стратегия "играть бумагой каждый раз". Она эффективна; ваша краткосрочная ожидаемая ценность (EV) высока, но вы заставляете другую сторону (Google, ChatGPT и т.д.) изменять свои действия, после чего ваше преимущество исчезает. Белая шляпа — это "играть бумагой немного чаще", сосредотачиваясь на создании ценности без необходимости изменять правила, что позволяет накапливать преимущества со временем.
Что такое сетевые данные
Когда вы используете веб-приложение, такое как Google или ChatGPT, ваш браузер отправляет данные на серверы и получает их обратно. Наименее технический способ описать это — это контейнеры, которые перемещаются между вами и сервером. Некоторые контейнеры имеют четкие метки, так что вы примерно знаете, что внутри. Другие имеют метки, которые не имеют смысла, а некоторые можно просто открыть и посмотреть, что внутри. Получить доступ к этим данным несложно. Нажмите F12, выполните поиск в Google или запрос в ChatGPT, и вы окажетесь в "Матрице". Перейдите на вкладку "Сеть", отфильтруйте по Fetch/XHR, и вы получите список запросов. Нажмите на любой из них, и вы увидите набор вкладок, которые выглядят устрашающе, но таковыми не являются:
- Заголовки: инструкции и метаданные о запросе.
- Payload: то, что вы отправили.
- EventStream: данные, которые продолжают поступать в режиме реального времени.
- Ответ: то, что вы получили обратно.
Как мы нашли уязвимость Google
Признаюсь, причина, по которой мы тратим так много времени на изучение сетевых запросов, заключается в том, что мы управляем AlsoAsked, что требует много работы с данными Google "Люди также спрашивают". Во время анализа заголовков запросов мы наткнулись на URL обратного вызова с длинной и интересной строкой параметров. Мы скопировали запрос в терминал и отправили его с помощью curl, чтобы увидеть, что вернет Google. Мы получили много данных, но они не имели смысла. Мы заметили параметр _fmt, установленный в prog, и решили удалить его. В результате Google вернул структурированные данные, которые он не собирался нам предоставлять, включая оценки качества сайтов и время последнего значительного обновления. Это привело к тому, что мы получили вознаграждение от Google в размере 13,337 долларов.
Получение ценности из данных
Среди множества данных, которые мы собрали, мы заметили, что Google классифицирует практически каждый запрос в одну из восьми "рефинированных" семантических классов. На основе выборки из 4,8 миллиона английских запросов распределение выглядело следующим образом. Эти данные идеально подходят для обучения классификатора. Я загрузил DistilBERT с Hugging Face и обучил его на всех 4,8 миллиона запросов. Результатом стал QueryClassifier, который мы разместили в интернете бесплатно. Он предсказывает, как Google будет классифицировать любой поисковый запрос, что полезно для контентного потока.
Получение данных ChatGPT
Я давно занимаюсь подобным анализом. Более года назад я делился советами о том, как отслеживать запросы ChatGPT в сетевых данных. Хотя этот конкретный трюк больше не работает, принцип остается. Интересная информация не в ответе ChatGPT, а в данных, которые передаются.
Как обойти блокировки
Когда вы играете в эту игру в больших масштабах, вы быстро столкнетесь с проблемой блокировок. Google и ChatGPT блокируют вас. Я нашел способ обойти это, создав расширение Chrome для автоматизации браузера. Это позволяет мне контролировать, какие модели и настройки я использую, что влияет на результаты. Кроме того, вы можете загрузить расширение без ожидания его проверки в Chrome Web Store.
Что показали данные FanoutFox
1. Свежесть данных ChatGPT: В сетевых данных ChatGPT содержится информация о временных рамках, в течение которых он ищет данные. Например, для запроса о ценах акций Nvidia ChatGPT ищет информацию с временным окном в два дня.
2. Происходит ли поиск вообще: FanoutFox также показывает, происходит ли поиск для данного запроса или ответ полностью основан на обучающих данных.
3. Reddit по-прежнему используется: Хотя ссылки на Reddit стали реже встречаться, ChatGPT по-прежнему активно использует его в фоновом режиме для анализа.
Заключение
Эти данные действительно полезны для оптимизации. Знание временных рамок свежести для вашей темы или того, что Reddit по-прежнему читается, может помочь вам в принятии решений о создании контента. Системы постоянно меняются, и есть много нового, что можно узнать. Используйте доступные инструменты, такие как Perplexity Computer и FanoutFox, чтобы извлечь максимальную пользу из сетевых данных.