✓ 21 октября Google обновил официальную инструкцию Control what you share with Google Search. В неё добавили уже существующие механизмы: robots meta tag, data-nosnippet, X-Robots-Tag и Search generative AI control. Компания прямо объяснила причину: сохранить документ актуальным и собрать доступные владельцам сайтов варианты в одном месте.
Это не запуск новых директив и не изменение алгоритма ранжирования. Практическая ценность обновления в другом: Google зафиксировал единую карту инструментов, которые часто ошибочно считают взаимозаменяемыми. Один закрывает страницу от индекса, другой ограничивает сниппет, третий работает с PDF и другими не-HTML файлами, а отдельная настройка Search Console управляет участием сайта в генеративных функциях поиска.
Неправильный выбор может дать противоположный результат. Например, запрет обхода в robots.txt не позволяет Googlebot увидеть noindex на странице. А data-nosnippet скрывает фрагмент текста из поискового превью, но не превращает страницу в закрытый документ. Ни один из этих механизмов не заменяет пароль для конфиденциальной информации.
Что именно изменил Google
В журнале документации Google датировал обновление 21 октября 2026 года. В справочную страницу добавили два заметных блока:
- robots meta tag,
data-nosnippetиX-Robots-Tag; - Search generative AI control в Search Console.
Остальные способы остались на месте: удаление материала с сайта, защита паролем, noindex, ограничение обхода изображений и видео через robots.txt, отказ от отдельных сервисов Google и запрос удаления уже найденного контента.
Новость нужно трактовать точно. Google не сообщил, что data-nosnippet или X-Robots-Tag начали работать иначе. Компания обновила обзорную страницу, чтобы она отражала действующий набор возможностей. Поэтому SEO-команде не требуется срочно менять сайт только из-за даты в журнале. Нужен аудит: соответствует ли каждый действующий запрет реальной задаче.
Матрица: какой инструмент решает какую задачу
| Задача | Подходящий механизм | Что важно учесть |
|---|---|---|
| Удалить публичный материал полностью | Удаление с сайта | Самый надёжный способ убрать содержимое и из Search, и из открытого интернета |
| Оставить файл только авторизованным пользователям | Пароль или контроль доступа | Robots-директивы не обеспечивают конфиденциальность |
| Не показывать HTML-страницу в результатах | noindex | Googlebot должен иметь возможность просканировать URL и увидеть директиву |
| Не индексировать PDF или другой не-HTML ресурс | X-Robots-Tag: noindex | Заголовок передаётся в HTTP-ответе самого файла |
| Не показывать текстовый сниппет страницы | nosnippet | Страница может оставаться индексируемой, но без текстового и видео-превью |
| Скрыть из сниппета отдельный фрагмент | data-nosnippet | Атрибут работает на span, div и section, а не на произвольных элементах |
| Ограничить длину сниппета | max-snippet:N | Это предел превью, а не запрет индексации |
| Закрыть изображения или видео от обхода | robots.txt для соответствующих файлов | Для обычной HTML-страницы этот подход нельзя путать с noindex |
| Исключить весь сайт из AI Overviews, AI Mode и генеративных функций Discover | Search generative AI control | Настройка применяется на уровне свойства Search Console и не выключает обычный поиск |
Эта матрица показывает главное различие: индексация, обход, поисковое представление и участие в AI-функциях — разные уровни управления. Перед внедрением нужно сначала определить требуемый результат, а уже затем выбирать директиву.
Почему robots.txt не заменяет noindex
robots.txt управляет доступом краулера к URL, но сам по себе не является универсальным способом удалить обычную веб-страницу из результатов. Если внешние ссылки или другие сигналы указывают на заблокированный URL, поисковая система может знать о его существовании, не прочитав содержимое.
Google отдельно предупреждает: robots meta tag и X-Robots-Tag могут быть обнаружены только во время сканирования. Если URL запрещён в robots.txt, Googlebot не увидит находящийся на странице noindex. Поэтому комбинация Disallow и noindex способна помешать выполнению задачи.
Для публично доступной HTML-страницы, которую нужно убрать из Search, типовая последовательность выглядит так:
- разрешить Googlebot получить URL;
- вернуть корректный HTTP-ответ с
noindex; - дождаться повторного обхода и обработки;
- после подтверждённого удаления решить, нужно ли сохранять URL, возвращать 404/410 или закрывать доступ.
Если требуется быстро скрыть уже появившийся результат, владелец сайта может дополнительно использовать инструмент удаления в Search Console. Он не заменяет постоянное техническое решение: временное скрытие без noindex, удаления или защиты доступа не устраняет первопричину.
Как работают nosnippet и data-nosnippet
Директива nosnippet не удаляет страницу из индекса. Она запрещает показывать текстовый сниппет и видео-превью. Статичная миниатюра изображения при определённых условиях может остаться. По документации Google ограничение распространяется на веб-поиск, Google Images, Discover, AI Overviews и AI Mode; контент также не должен использоваться как прямой вход для ответа в последних двух функциях.
data-nosnippet действует точечно. Им можно отметить span, div или section, содержимое которых не должно попадать в сниппет. Это полезно, когда страница должна ранжироваться и приводить пользователей, но конкретный фрагмент не предназначен для превью: например, текст за пределами основного материала или динамический служебный блок.
Есть несколько технических нюансов:
data-nosnippet— булев атрибут: даже значениеfalseсчитается его наличием;- незакрытый HTML-элемент может случайно исключить из сниппета весь следующий контент;
- Google рекомендует не добавлять и не удалять атрибут у существующих узлов через JavaScript, потому что обработка возможна до или после рендеринга;
- структурированные данные внутри скрытого фрагмента не обязательно перестают использоваться для поискового представления.
Если задача не в полном запрете, а в длине превью, подходит max-snippet. Значение 0 эквивалентно nosnippet, положительное число задаёт максимальное количество символов, а -1 разрешает Google выбирать длину самостоятельно.
Когда нужен X-Robots-Tag
HTML-страница может передать директиву через <meta name="robots">. У PDF, изображения или другого самостоятельного файла нет HTML <head>, поэтому для него применяют HTTP-заголовок X-Robots-Tag.
Например, X-Robots-Tag: noindex в ответе PDF сообщает, что сам файл не должен показываться в результатах. Этот подход полезен для технических документов, прайс-листов, старых презентаций и экспортов, которые должны оставаться доступны по прямой ссылке, но не конкурировать с основной HTML-страницей.
Директивы можно задавать и для отдельных роботов, однако сложные комбинации требуют тестирования. Если Google видит несколько конфликтующих правил, применяется более ограничительный вариант. Поэтому распределённая настройка в CMS, CDN и конфигурации сервера без единого реестра часто создаёт случайный noindex.
Что делает отдельный AI-контроль
Search generative AI control доступен в настройках Search Console и управляет участием сайта в AI Overviews, AI Mode и генеративных функциях Google Discover. По умолчанию сайт включён. Владелец может разрешить участие, исключить ссылки и контент либо наследовать выбор родительского свойства.
При исключении сайт не должен показываться ссылками в этих AI-функциях, помогать обосновывать ответы и получать связанные показы или переходы. Google подчёркивает, что этот выбор не используется как сигнал ранжирования или включения в другие части Search и не отменяет отдельное участие издателя в Merchant Center или Google Ads.
Это отличает настройку от nosnippet. Первая действует для перечисленных генеративных поверхностей на уровне свойства, а вторая управляет превью конкретного URL и его использованием как прямого входа для AI-ответа. Нельзя автоматически переносить решение с одного уровня на другой.
Семь ошибок, которые стоит найти на сайте
1. Конфиденциальные файлы закрыты только robots.txt
URL всё ещё доступен любому человеку по ссылке. Чувствительные данные нужно удалять или защищать авторизацией.
2. На странице одновременно стоят Disallow и noindex
Googlebot не может получить документ и прочитать директиву. Нужно определить приоритет: запрет обхода или удаление из индекса.
3. data-nosnippet добавлен на слишком большой контейнер
Из превью исчезает полезный текст, а сниппет становится нерелевантным или собирается из менее подходящих фрагментов.
4. PDF исключили только метатегом HTML-страницы
Директива родительской страницы не управляет самостоятельным URL файла. Заголовок должен приходить в ответе самого PDF.
5. AI-контроль считают запретом обычной индексации
Google прямо разделяет эти механизмы. Исключение из генеративных функций не должно само по себе убрать страницы из стандартных результатов.
6. Ограничение проверили только в исходном шаблоне
CMS, плагин, CDN или сервер могут добавить второй robots-тег или HTTP-заголовок. Проверять нужно итоговый HTML и реальные response headers.
7. После изменения не проверяют Search Console
Техническая директива должна подтверждаться наблюдением: доступен ли URL краулеру, какой canonical выбран, индексируется ли страница и нет ли неожиданного наследования AI-настройки.
Практический аудит за один проход
Начните с инвентаризации URL по намерению:
- должны индексироваться и получать трафик;
- должны быть доступны, но без сниппета или отдельного фрагмента;
- должны быть доступны только по прямой ссылке;
- должны быть закрыты авторизацией;
- должны быть удалены;
- требуют отдельного решения по AI-функциям.
Затем для каждого типа проверьте четыре слоя: robots.txt, HTML meta robots, HTTP-заголовки и настройки Search Console. Для JavaScript-сайта дополнительно сравните исходный и отрендеренный HTML. Для PDF и медиа смотрите ответ конкретного файла, а не страницу, с которой он связан.
После исправлений не ограничивайтесь одной датой проверки. Повторный обход и переобработка занимают время. Зафиксируйте исходное состояние, дату изменения и ожидаемый результат, затем наблюдайте за URL Inspection, отчётом индексирования и показами в Performance.
Если аудит обнаружил конфликтующие директивы, дубли или случайно закрытые посадочные страницы, SEO-оптимизация сайта должна начинаться с карты индексируемых URL и проверки реальных ответов сервера, а не с массового изменения тегов.
Главный вывод
Обновление от 21 октября не вводит новые запреты. Google собрал действующие способы управления контентом в одном официальном документе и явно разделил их по задачам.
noindex управляет присутствием URL в результатах, robots.txt — доступом краулера к определённым ресурсам, nosnippet и data-nosnippet — поисковым превью, X-Robots-Tag — правилами для HTTP-ответов и не-HTML файлов, а Search generative AI control — участием свойства в генеративных функциях Search. Конфиденциальность по-прежнему требует удаления или настоящего контроля доступа.
Главное действие для SEO-команды — не поставить больше запретов, а убрать противоречия и проверить каждый механизм на том уровне, для которого он предназначен.