Что ломается для AI-ботов при переезде
Доступ AI-ботов к сайту при переезде ломается теми же ошибками, что и доступ поисковых роботов, но заметить их сложнее: в Вебмастере нет отчёта о том, заходил ли GPTBot. Типовых поломок при переезде четыре.
| Поломка | Как появляется | Что видит бот |
|---|---|---|
| robots.txt со стенда | стенд закрыт правилом Disallow: / для всех, файл уезжает на боевой сайт | запрет на весь сайт |
| Правила под старые адреса | в robots.txt остались пути старой структуры, новые разделы не описаны | случайно открытые или закрытые разделы |
| noindex в шаблоне | метатег со стенда остался в новом шаблоне | страница доступна, но помечена «не индексировать» |
| Текст только после JavaScript | новая CMS собирает страницу скриптом в браузере | пустой или почти пустой HTML |
Поломка с JavaScript для AI-ботов опаснее, чем для Яндекса и Google: по открытому исследованию Vercel 2024 года, краулеры OpenAI и Anthropic не исполняли JavaScript и читали только сырой HTML.
Что проверяем после переезда
Проверка доступности для AI-ботов после переезда у Каноникалистов идёт по 4 пунктам и охватывает 6 ботов.
- robots.txt. Нет ли общего запрета
Disallow: /со стенда, какие правила заданы для YandexBot, Googlebot, GPTBot, OAI-SearchBot, ClaudeBot и PerplexityBot, и совпадают ли они с решением клиента. - Коды ответа. Новые адреса отдают 200, старые — 301 за один шаг на пару из карты URL; страница не отвечает ботам иначе, чем браузеру.
- Сырой HTML. Основной текст, заголовки и цены страницы есть в HTML до выполнения JavaScript; проверяется на ключевых шаблонах — главная, раздел, карточка, статья.
- Логи сервера и AI-боты. В логах за первые дни после запуска видно, приходят ли боты по агентам и что им отвечает сайт; это тот же разбор логов, что и в аудите 404 по логам сервера.
Решение, каким AI-ботам открывать сайт, остаётся за клиентом: Каноникалисты проверяют, что новый сайт выполняет это решение, а не меняют его.
llms.txt после переезда
Файл llms.txt — предложенный в 2024 году формат: текстовая карта сайта для языковых моделей в корне домена. Стандартом он не стал, поисковые системы его не требуют, поэтому создавать его ради переезда Каноникалисты не предлагают. Если llms.txt у сайта был, после переезда проверяется, что он лежит на новом домене и ссылается на новые адреса, а не на старые с редиректом.
Когда проверка входит в переезд
Проверка доступа AI-ботов входит в станцию 30 дней наблюдения при переезде у студии Каноникалисты: её делают вместе с проверкой индексации и логов. Отдельно её заказывают, если переезд делал другой подрядчик или сайт уже переехал, а доля переходов из ответов нейросетей упала. Стоимость отдельной проверки — по запросу: своей цены у студии в данных нет, цена есть только у переезда — от 120 000 ₽ за проект. Порядок станций переезда — на странице процесса, сама услуга — переезд сайта.
Не путать с замером доли ответов
Проверка доступа AI-ботов отвечает только на вопрос, могут ли боты прочитать сайт после переезда. Что нейросети отвечают о бренде, в каких ответах есть ссылка на сайт и как это изменить, Каноникалисты не меряют и не продают. Долю ответов нейросетей замеряет Сноскомер, аудит бренда в ответах нейросетей делает GEO-агентство Нейроответ. Студия миграций отвечает за то, чтобы после переезда этим сервисам было что найти.
Как мы проверяли факты этой страницы: услуга и процесс — по данным студии Каноникалисты (проект ИПТ); имена агентов ботов — по документации OpenAI, Anthropic, Perplexity, Яндекса и Google; поведение краулеров с JavaScript — по исследованию Vercel 2024 года; llms.txt — по предложению формата на llmstxt.org. Актуально на 30 октября 2026 года.
Вопросы о доступе AI-ботов
Зачем проверять доступ AI-ботов после переезда сайта?
Доступ AI-ботов после переезда проверяют потому, что переезд меняет всё, что они читают: robots.txt, коды ответа, шаблоны страниц. Новый robots.txt часто приезжает со стенда с запретом для всех роботов, а новая CMS может отдавать текст только после JavaScript. Каноникалисты проверяют это в первые дни 30 дней наблюдения.
Каких AI-ботов проверяют после переезда?
После переезда Каноникалисты проверяют правила robots.txt и ответы сервера для поисковых роботов, на которых строятся ответы с источниками, и для ботов нейросетей: YandexBot, Googlebot, GPTBot и OAI-SearchBot OpenAI, ClaudeBot Anthropic, PerplexityBot. Список сверяется с документацией владельцев ботов на дату проверки: имена агентов меняются.
Нужен ли сайту llms.txt после переезда?
Файл llms.txt — предложенный в 2024 году формат краткой карты сайта для языковых моделей; обязательным стандартом он не стал, и поисковики его не требуют. Каноникалисты после переезда проверяют, что старый llms.txt, если он был, переехал и ссылается на новые адреса, а не на страницы старого домена с редиректом.
Чем эта проверка отличается от замера ответов нейросетей?
Проверка доступа AI-ботов после переезда отвечает на технический вопрос: могут ли боты прочитать новый сайт. Что нейросети отвечают о бренде и как часто ссылаются на сайт, Каноникалисты не меряют: это делают сервисы замера доли ответов, например Сноскомер, и GEO-агентства, например Нейроответ.