Сайты закрывают доступ AI-агентам: что это меняет для GEO

AI-агенты должны находить информацию, сравнивать варианты и выполнять действия от имени пользователя. Но интернет не превращается в бесконечно открытый интерфейс для ботов: сайты блокируют автоматические запросы, требуют лицензирование данных, ограничивают доступ к аккаунтам и усиливают антибот-защиту.

Для GEO это меняет саму постановку задачи. Недостаточно добиться того, чтобы страница была видна в AI-поиске. Нужно ещё понимать, какой тип AI-системы обращается к сайту, какие правила доступа действуют, может ли агент прочитать страницу без ошибки и получает ли пользователь ссылку на первоисточник.

Что произошло с доступом AI-агентов

17 октября 2026 года The Verge описал растущую проблему: пользователи AI-агентов сталкиваются с блокировками на популярных сайтах. В публикации упоминаются агенты Meta, OpenAI, xAI и других компаний, которые не всегда могут выполнить действие на сайте, даже если человек без проблем открывает его в обычном браузере.

Причины разные:

• сайт не разрешает автоматизированные действия в принципе;
• компания хочет лицензировать доступ к данным отдельно;
• действие связано с аккаунтом, платежом или персональными данными;
• антибот-система принимает агента за подозрительную автоматизацию;
• поставщик сайта не подготовил понятный интерфейс для машинного взаимодействия.

Это не означает, что все сайты обязаны открыть доступ агентам. У владельца есть право ограничить сбор данных, защитить личные кабинеты и не разрешать покупку или бронирование через сторонний сервис. Вопрос в другом: решение должно быть осознанным, а не случайным побочным эффектом неправильной настройки WAF, robots.txt или JavaScript-проверки.

Чем AI-поиск отличается от AI-агента

В разговоре об AI часто смешивают несколько разных сценариев.

AI-поиск

Поисковый робот или поисковый сервис находит страницы, извлекает информацию и использует её для ответа с цитатой или ссылкой. Здесь для сайта важны доступность, индексируемость, качество материала, ясная структура и соответствие поисковому намерению.

AI-ассистент

Ассистент может открыть страницу по запросу пользователя, прочитать её и пересказать содержание. Он не обязательно должен входить в аккаунт или менять данные на сайте.

AI-агент

Агент действует в несколько шагов: ищет варианты, сравнивает условия, открывает форму, выбирает дату, добавляет товар или передаёт заявку. Это уже не только извлечение информации, а взаимодействие с интерфейсом и потенциально ответственное действие.

Одна и та же политика не обязана одинаково разрешать эти сценарии. Сайт может разрешать поисковому роботу читать публичные страницы, но блокировать агента, который пытается отправить форму или зайти в личный кабинет. Поэтому фраза «открыть сайт для AI» слишком неточная.

Что показывают материалы Cloudflare и OpenAI

В публикации от 15 октября Cloudflare и OpenAI рассказали о совместном исследовательском пилоте по обнаружению новых страниц. По заявлению Cloudflare, пилот использовал сигналы сети для более эффективного поиска контента, а OpenAI самостоятельно оценивал найденные страницы по релевантности и полезности.

Важны несколько оговорок.

Во-первых, обнаружение URL не равно цитированию. Система должна понять, что страница существует, получить к ней доступ, определить её содержание и решить, подходит ли она для конкретного ответа.

Во-вторых, сетевой сигнал не является разрешением на доступ. В самой публикации Cloudflare отдельно указано, что сигнал о странице не даёт автоматического права её загружать. Политика владельца сайта остаётся значимой.

В-третьих, качество технического доступа влияет на эффективность обхода. Несуществующие URL, бесконечные редиректы, дубли и страницы, закрытые случайной проверкой, создают лишнюю нагрузку и не помогают пользователю.

Cloudflare отдельно развивает AI Crawl Control: инструмент позволяет видеть активность AI-сервисов, задавать правила для отдельных роботов, контролировать соблюдение robots.txt и анализировать AI-трафик. Это показывает, что управление AI-доступом постепенно становится отдельным техническим процессом.

Как это связано с GEO

GEO — это не обещание попасть в каждый AI-ответ и не специальный тег, который гарантирует цитирование. Это работа над тем, чтобы полезный контент был понятен системам, доступен для корректного извлечения и действительно соответствовал запросу пользователя.

Новая реальность добавляет к этой работе ещё один слой — access readiness, то есть готовность доступа.

1. Видимость без доступа не работает

Если AI-система знает адрес страницы, но получает 403, бесконечный challenge или пустой HTML, одной хорошей мета-разметки недостаточно. Нужно проверить, как публичная страница выглядит для разных разрешённых клиентов и не ломается ли она без выполнения сложного JavaScript.

2. Доступ не равен разрешению на действие

Публичная статья, карточка услуги и форма заявки — разные объекты. Можно разрешить чтение описания услуги, но не разрешать автоматическую отправку формы без явного подтверждения человека. Такая граница защищает пользователя и бизнес.

3. Для AI важна проверяемость

На странице должны быть однозначно указаны название услуги, условия, ограничения, дата обновления, контакты и следующий шаг. Если агенту приходится угадывать, что означает кнопка или какая цена относится к какому пакету, возрастает риск неправильной рекомендации.

4. Нужна честная политика

Сайт не должен блокировать всех роботов только потому, что часть автоматического трафика нежелательна. Поисковые, обучающие и действующие от имени пользователя системы решают разные задачи. Политики стоит разделять по типу доступа и бизнес-риску.

Какие уровни доступа нужно разделять

Для практического аудита удобно использовать четыре уровня:

1. Чтение публичного контента. Статьи, услуги, FAQ и документы доступны обычному поисковому обходу и AI-поиску.
2. Чтение динамического контента. Цены, наличие и условия загружаются так, чтобы разрешённый клиент мог получить понятный результат, а не только пустой контейнер.
3. Подготовка действия. Агент может собрать данные, заполнить черновик заявки или сформировать корзину, но действие ещё не отправлено.
4. Подтверждаемое действие. Оплата, заказ, изменение аккаунта и отправка персональных данных требуют явного согласия пользователя и дополнительных проверок.

Такое разделение полезнее, чем абстрактное «разрешить или запретить AI». Оно позволяет открыть то, что помогает обнаружению и выбору, и оставить под контролем то, что связано с деньгами, доступом и ответственностью.

Что проверить на сайте

Публичный HTML

Проверьте, что основной смысл страницы присутствует в HTML, а не только появляется после клика или выполнения нестабильного скрипта. H1, подзаголовки, списки, цены, условия и контакты должны иметь понятную последовательность.

Служебные ответы

Проверьте ответы для канонических URL:

• HTTP 200 для доступных публичных страниц;
• предсказуемая обработка 404 для несуществующих адресов;
• отсутствие бесконечных редиректов;
• корректные canonical и robots meta;
• актуальный sitemap с каноническими URL;
• отдельный контроль страниц, требующих авторизации.

Антибот и WAF

Посмотрите, не блокирует ли защита полезный поисковый обход вместе с подозрительными запросами. Логи должны показывать, какой клиент получил отказ и по какой причине. Случайный 403 на публичной странице хуже, чем осознанная политика запрета с понятным объяснением.

Интерфейс действий

Кнопки и поля должны иметь ясные названия, а результат шага — быть проверяемым. Для заявки полезно разделять «подготовить данные», «проверить» и «отправить». Для покупки — показывать итоговую сумму, ограничения и условия до подтверждения.

Какие метрики добавить

В стандартный SEO-отчёт можно добавить отдельный блок AI-доступа:

• доля запросов AI-клиентов с HTTP 2xx и 4xx/5xx;
• частота блокировок по типу робота и правилу WAF;
• доля страниц, которые доступны без клиентского JavaScript;
• ошибки на canonical, sitemap и robots.txt;
• переходы из AI-сервисов и страницы входа;
• цитирование и упоминание бренда в целевых AI-ответах;
• действия, которые агент начал, но не смог завершить.

Не стоит считать любое обращение AI-бота полезным. Важнее разделять поисковое обнаружение, реальный переход, корректное цитирование и завершённое действие пользователя.

Чего эта новость не доказывает

Нельзя делать из свежих блокировок вывод, что SEO или GEO больше не работают. Нельзя также обещать, что разрешение AI-роботов автоматически даст рост трафика или продаж.

Материалы Cloudflare и OpenAI описывают ранний исследовательский пилот, а The Verge — конкретные случаи ограничений и конфликтов вокруг агентного доступа. Это важные сигналы рынка, но не универсальный стандарт ранжирования и не гарантия будущего поведения всех AI-систем.

Google Search Central продолжает подчёркивать базовые принципы: полезный оригинальный контент, техническая доступность и обычные SEO-практики остаются основой. GEO расширяет измерение видимости, но не отменяет качество страницы и понятность предложения.

Чек-лист для бизнеса

Перед тем как считать сайт готовым к AI-поиску и агентам, проверьте:

1. Понятно ли, какие публичные страницы разрешено читать?
2. Не блокирует ли WAF разрешённый поисковый обход?
3. Есть ли отдельная политика для чтения, подготовки и подтверждения действия?
4. Видны ли ключевые факты в HTML?
5. Работают ли canonical, robots и sitemap без противоречий?
6. Можно ли объяснить отказ агента в логах?
7. Есть ли подтверждение пользователя перед финансовым или необратимым действием?
8. Измеряются ли AI-переходы, цитаты и ошибки доступа раздельно?

В GEO выигрывает не сайт, который бездумно открывает всё автоматизации. Выигрывает сайт, который делает полезную информацию доступной, явно описывает границы действий и сохраняет контроль над безопасностью и качеством взаимодействия.

Если нужна системная проверка видимости сайта в AI-поиске, структуры контента и технической доступности, можно начать с GEO-продвижения.