Генеративные поисковые системы перестают показывать просто список страниц — теперь их ответы формируют AI-агенты, которые извлекают и фрагментируют контент. Техническое SEO выходит за рамки индексации: важно, как агент получает доступ к сайту, как контент структурирован и насколько он пригоден для извлечения. Это требование меняет приоритеты в оптимизации.
Основные детали новости
Появление генеративного поискового стека и агентов, таких как GPTBot, OAI-SearchBot, PerplexityBot и различные Claude-боты, требует пересмотра привычных правил работы с robots.txt. Контроль доступа теперь не только про блокировку сканеров, но и про то, какие агенты могут обучать модели, а какие — использовать сайт для оперативного поиска и цитирования.
Простой пример управления доступом:
- User-agent: GPTBot — Allow: /public/ — Disallow: /private/
Выбор между разрешением на обучение модели и предоставлением доступа для реального поиска и цитирования — ключевой. Перечень пользовательских агентов расширился: у Claude есть отдельные имена для обучения и поиска (ClaudeBot, Claude-User, Claude-SearchBot), у Perplexity — PerplexityBot и Perplexity-User. Это требует точных правил в robots.txt или использования новых форматов, если вы хотите управлять доступом детальнее.
Появляется новый протокол — llms.txt. Это markdown-подобный стандарт, который позволяет без полного обхода сайта предоставить агентам карту ссылок или агрегированный текст (llms-full.txt), чтобы облегчить извлечение данных. Некоторые платформы уже публикуют свои файлы llms.txt — стоит учитывать этот формат при планировании видимости для агентов, даже если не все инструменты его учитывают сегодня.
Дополнительные факты
Ключевая задача для GEO (generative engine optimization) — сделать контент «fragment-ready», то есть готовым к фрагментированию и вставке в ответы. Основные препятствия для извлечения информации:
- Исполнение JavaScript, которое скрывает содержание от агентов;
- Контент, ориентированный на ключевые слова вместо сущностей и фактов;
- Слабая структура, которая не выделяет важные ответы из окружения (шапки, боковых блоков, повторяющейся boilerplate-информации).
Решение — семантическая HTML-разметка и чёткое разделение основного контента от вспомогательных блоков, чтобы агенты могли быстро извлечь факты без «шума». Практика включает создание коротких, автономных фрагментов с минимальным контекстом, пригодных для вставки в ответ агента.
Schema.org остаётся важной частью стратегии: Organization с sameAs помогает связать сайт с верифицируемыми сущностями, FAQPage и HowTo — лёгкие зоны для получения быстрых ответов, а директива SignificantLink указывает на авторитетные разделы. Эти схемы — способ «сопрячь» информацию в граф знаний, чтобы модели легче связывали сущности и источники.
Производительность и свежесть контента — ещё один фронт. Retrieval-augmented generation (RAG) делает возможным добавление внешнего контекста при генерации ответа, поэтому сайты, которые быстро отвечают и обновляют данные (метки «last updated», schema-заголовки), получают преимущество в релевантности для новостных и технических запросов.
Почему это важно для SEO
Традиционные метрики видимости остаются релевантными, но к ним добавляются новые KPI: доля цитирований (citation share), попадание в ответы агентов и лог-файлы, которые покажут, какие боты сканируют сайт. Аудиты становятся обязательными: анализ логов, проверка доступа агентов, отслеживание нулевых кликов и влияние параметров в ссылках — всё это показывает, как сайт участвует в генеративной экосистеме.
Для масштабирования GEO вам придётся автоматизировать процессы: миллионы кастомных GPT и специализированных агентов не позволят вручную управлять каждой страницей. Автоматические правила для robots.txt/llms.txt, массовая генерация семантической разметки и регулярные технические ревизии помогут поддерживать сайт как «источник истины» для моделей.
Вывод для практиков: начните с контроля доступа (robots.txt / llms.txt), упорядочьте структуру и выделите фрагменты, добавьте релевантные схемы и сигналы свежести, затем переходите к аудитам и автоматизации. Это не замена базовой SEO-работы — это её эволюция для мира, где ответы формируют не список ссылок, а извлечённые фрагменты.
