Невидимка для Яндекса и нейросетей: что мешает сайту попасть в выдачу и в ответы ИИ
Автор — Елена Новорчук, эксперт по GEO и ИИ
Сайту мешают 5 проблем: закрытый для роботов доступ, контент, который появляется только после выполнения JavaScript, дубли и сбои индексации, а также тексты без автора и проверенных фактов и нехватка внешних упоминаний. Первые 3 блокируют классическую выдачу и ответы нейросетей. Остальные снижают шанс, что страницу выберут источником для цитирования.
Генеративные поисковые системы: ChatGPT, Gemini, Perplexity, нейропоиск Яндекса тщательно выбирают информацию для формирования ответов. Поэтому важно знать, на каком этапе сайт теряет видимость и как это проверить.
Почему сайт может не попасть ни в выдачу, ни в ответы нейросетей?
Базовая поисковая оптимизация сайта – фундамент для всего остального. Google в документации указывает: чтобы страница попала в AI Overviews или AI Mode, она должна быть проиндексирована и иметь право на показ в поиске со сниппетом. Других технических требований нет.
Из этого следует простой вывод. GEO-оптимизация сайта без доступа роботов и без индексации не работает. И даже самый точный ответ в тексте остается невидимым. Поэтому диагностику начинают не с контента, а с технической доступности.
Какие технические ошибки закрывают сайт от роботов?
Зачастую препятствия появляются еще на этапе разработки. К ним относятся:
запрет в robots.txt, который остался после тестового запуска;
метатег noindex или заголовок X-Robots-Tag на рабочих страницах;
ответы сервера 4xx и 5xx, длинные цепочки редиректов;
блокировка ботов на уровне фаервола или CDN.
Последний пункт часто упускают. Защита от парсинга блокирует не только вредных ботов, но и поисковых. В итоге страница открывается в браузере, а роботу отдает ошибку.
Нужно открывать сайт для всех ИИ-роботов?
Не для всех. У OpenAI за обучение моделей отвечает GPTBot, а поиском в ChatGPT – отдельный OAI-SearchBot. И правила для них задаются раздельно. Google-Extended управляет использованием контента в Gemini и не влияет на показ сайта в обычном поиске и в AI Overviews.
Поэтому принимать решение нужно в зависимости от цели. Если сайт должен попадать в ответы нейросетей, то роботам поиска нужно предоставить доступ. Закрывать сайт от обучения моделей можно отдельно.
Почему JavaScript скрывает контент от ИИ-краулеров?
ИИ-краулеры большинства платформ читают только исходный HTML. Googlebot рендерит JavaScript через headless Chrome, а вот боты ChatGPT и Claude этого не делают. Это показало исследование Vercel и MERJ (декабрь 2024). За месяц GPTBot сделал около 569 млн запросов, ClaudeBot – около 370 млн. Файлы JavaScript они запрашивали (11,5% и 23,84% обращений соответственно), но не выполняли.
| Робот | Владелец | Исполняет JavaScript |
|---|---|---|
| Googlebot | Да | |
| GPTBot | OpenAI | Нет |
| ClaudeBot | Anthropic | Нет |
| PerplexityBot | Perplexity | Нет |
Данные по PerplexityBot взяты из отраслевых обзоров, а не из исследования Vercel. Gemini использует инфраструктуру Googlebot и рендерит JavaScript.
Пример – Интернет-магазин на React без серверного рендеринга. В браузере виден каталог с ценами, в исходном HTML – пустой блок. Для бота такой сайт состоит из заголовка и скриптов.
Как проверить, что видит робот?
Запросите страницу командой curl с пользовательским агентом бота и посмотрите ответ. Если названия товаров, цены и основной текст не видны в выдаче команды, то ИИ-краулеры их тоже не получат. Для устранения проблемы нужен серверный рендеринг, статическая генерация или пререндеринг.
Как дубли и ошибки структуры тормозят индексацию?
Робот тратит ограниченный ресурс на обход. Если сайт отдает десятки версий одной страницы, то важные разделы попадают в индекс позже или не попадают совсем. Поэтому индексация сайта требует контроля. Тут нельзя надеяться на алгоритмы.
Рекомендуется проверить четыре зоны:
дубли страниц с GET-параметрами, с косой чертой и без нее;
sitemap.xml с закрытыми, битыми или редиректными адресами;
отсутствие или неверный rel="canonical";
важные страницы без внутренних ссылок.
Статусы страниц показывают Google Search Console и Яндекс Вебмастер. Раздел об исключенных страницах дает больше информации, чем любой сторонний сервис.
Что в тексте мешает нейросети процитировать страницу?
Генеративные поисковые системы берут из страницы фрагмент и вставляют его в ответ. Если фрагмент не читается отдельно от остального текста, то вероятность цитирования снижается. Google в документации советует размещать полезный, экспертный контент для людей, а не для алгоритмов.
| Проблема | Что видит система | Как исправить |
|---|---|---|
| Ответ спрятан в середине текста | Вступление без сути | Дать прямой ответ в первом абзаце (40–80 слов) |
| Нет автора и даты | Анонимный источник | Указать автора, роль, дату обновления |
| Цифры без источника | Непроверяемое утверждение | Ссылаться на исследование и год |
| Заголовок не отражает тему | Размытая структура | Формулировать H2 как вопрос или четкую подтему |
| Противоречия между страницами | Конфликт данных | Свести цены, сроки и характеристики к одному значению |
Влияют внешние упоминания на выбор нейросетями источника для ответа?
Вероятно, да, но точный вес этого фактора платформы не раскрывают. Публичных методик нет, поэтому утверждать что-либо нельзя.
Практический смысл очевиден: упоминания эксперта и компании на отраслевых площадках, в профильных СМИ и каталогах дают независимое подтверждение. Это помогает людям и системам, которые сверяют информацию из разных источников.
С чего начать диагностику
Порядок такой:
Откройте robots.txt и проверьте правила для Googlebot, Яндекса и OAI-SearchBot.
Запросите важную страницу через curl и сверьте HTML с тем, что видно в браузере.
Изучите отчеты Search Console и Яндекс Вебмастера об исключенных страницах.
Убедитесь, что на важных страницах есть прямой ответ в начале, указан автор и дата публикации.
Если индексация сайта в порядке, то переходите к контенту. Если нужен внешний взгляд, то эксперт Елена Новорчук даст объективную оценку. Переходите на сайт Linkoll.ru, чтобы заказать технический, SEO и юзабилити-аудит сайтов и получить консультацию по SEO и GEO продвижению.
Ответы на распространенные вопросы
Что такое ГС в контексте оптимизации сайта?
Это генеративные системы: ChatGPT, Gemini, Perplexity и нейропоиск Яндекса. Они формируют ответ из найденных источников и ссылаются на страницы сайтов, которые вызывают наибольшее доверие.
Закрытие GPTBot лишит сайт видимости в ChatGPT?
Нет. GPTBot отвечает за обучение, поиск в ChatGPT использует OAI-SearchBot. Настройки у них независимые.
Видят ИИ-роботы контент, который подгружается скриптами?
Боты OpenAI, Anthropic и Perplexity его не видят, по данным исследования Vercel и отраслевых обзоров. Но Googlebot видит.
Можно гарантировать попадание в ответ нейросети?
Нет. Платформы не публикуют точные критерии отбора. Поэтому можно убрать барьеры и сделать страницу удобной для цитирования, но гарантий никто не даст.
Вывод
Сайт теряет видимость в двух точках: до индексации и после нее:
До индексации мешают закрытый robots.txt, noindex, ошибки сервера, блокировки на уровне CDN и контент, который собирается скриптами.
После индексации мешают размытые тексты, отсутствие автора, цифры без источников и слабые внешние подтверждения.
Классическая поисковая оптимизация сайта и GEO-оптимизация сайта решают общую задачу, а порядок работы с ними один. Сначала нужно обеспечить доступ ботов на страницы сайтов для их индексации. Затем прорабатывается их структура, в материалах размещаются точные и четкие ответы.
Затем начинается работа с внешними упоминаниями. Даже полезный, структурированный текст на закрытой странице никто не увидит. Внешние упоминания эксперта и компании добавляют независимое подтверждение, но влияют уже на сайт, который доступен и проиндексирован.
Начать стоит с проверки robots.txt и запроса через curl. Эти два действия покажут, есть у сайта фундаментальные ограничения или он видим для нужных ботов. Найденные проблемы нужно устранять до работы с контентом. Если нужен полноценный аудит, обращайтесь к специалисту по SEO и GEO Елене Новорчук. Воспользуйтесь опытом эксперта для ускорения продвижения сайта, создания узнаваемого бренда.