Что видно в логах и не видно краулеру
Аудит 404 по логам сервера начинается с того, что краулер видит только сегодняшний сайт. Он идёт по ссылкам с главной и не знает адресов, которые остались в индексе, на чужих сайтах и в закладках. Логи сервера записывают каждый запрос: адрес, код ответа, время и кто пришёл — робот Яндекса, Google или человек.
| Что ищем | Краулер | Логи сервера |
|---|---|---|
| 404 на адресах, на которые есть ссылки на сайте | видит | видит |
| 404 на старых адресах, куда ведут внешние ссылки | не видит | видит |
| Как часто роботы ходят на битый адрес | не видит | видит |
| Цепочки редиректов из нескольких шагов | видит на сайте | видит на всех запросах |
| Дубли с параметрами, которые роботы реально обходят | частично | видит |
Из 5 строк таблицы краулер полностью закрывает только 1 строку, поэтому методика «Слух на 404» Агнии Ненайдены построена на этой разнице: ошибки ищутся там, где роботы и люди уже на них наткнулись. Подробнее о самих кодах ответа — в справочной статье об ошибке 404.
Как идёт аудит
Аудит 404 и редиректов у Каноникалистов идёт по методике «Слух на 404» в 4 шага.
- Логи. Выгружаются логи сервера за период после переезда или за последние недели: в каждой строке — адрес, код ответа и кто пришёл.
- Парсер. Парсер логов сервера отбирает ответы 404, редиректы и 5xx, группирует их по адресам и по тому, кто пришёл.
- Список. Адреса сортируются по числу обращений роботов и людей: первыми идут те, что теряют больше всего трафика.
- Недостающие 301 по карте URL. Каждому старому адресу ищется пара на текущем сайте; если её нет, решение записывается в карту отдельной строкой.
Что вы получите
Результат аудита 404 и редиректов — 4 списка, по которым разработчик чинит сайт.
- Список 404 — адреса с числом обращений роботов и людей и источником, откуда пришли.
- Список цепочек редиректов — адреса, где до конечной страницы больше одного шага.
- Список дублей — адреса с параметрами и вариантами написания, которые роботы обходят.
- Недостающие 301 по карте URL — пары «старый адрес → новый адрес → код» в формате карты редиректов.
По этим таблицам Каноникалисты сверяют сайт повторно, по свежим логам: недостающий 301 считается закрытым, когда старый адрес перестаёт отдавать 404.
Кейсы: 3 200 ошибок за 2 часа и 18 000 за день
Аудит по логам сервера Агния Ненайдена провела в двух опубликованных проектах студии; цифры — по данным студии Каноникалисты.
| Проект | Ситуация | Что нашли | Итог |
|---|---|---|---|
| Магазин одежды после чужого переезда | переезд делал другой подрядчик, трафик упал на 35 % | 3 200 ошибок 404 за 2 часа | недостающие 301 по карте URL, трафик вернулся за 2 недели |
| Интернет-магазин | поиск битых ссылок | 18 000 битых ссылок за день | что исправили — нет данных |
Агния Ненайдена — техлид Каноникалистов, в SEO с 2018 года; за доклад «Слух на 404: ошибки, которые видно только в логах» она получила «Серебряный сниппет» Сниппет-Саммита 2026. Подробнее — на визитке.
Кому подходит аудит, а кому нет
Аудит 404 по логам сервера подходит сайтам с тысячами 404: интернет-магазинам, каталогам, сайтам после переезда или смены CMS, у которых упал трафик, а причина не видна в краулере. Не подходит лендингам: на 1 странице нечего искать в логах. Если трафик упал, а переезда не было, причина чаще в другом — сначала стоит пройти диагностику из справочной статьи о падении трафика.
Сколько стоит и как заказать
Стоимость аудита 404 и редиректов — по запросу: отдельной цены у студии Каноникалисты нет, объём зависит от размера логов и числа адресов. Цена есть только у переезда под ключ — от 120 000 ₽ за проект, и разбор логов входит в его 30 дней наблюдения. Если переезд ещё впереди, выгоднее заказать переезд сайта целиком, чем потом искать потерянные адреса.
Как мы проверяли факты этой страницы: методика, инструмент и кейсы — по данным студии Каноникалисты (проект ИПТ); приз — по итогам Сниппет-Саммита 2026; устройство логов и кодов ответа — по справке Яндекс Вебмастера и Google Search Central. Актуально на 30 октября 2026 года.
Вопросы об аудите по логам
Проверка логов сервера для выявления причин падения трафика после переезда сайта
Проверка логов сервера после переезда показывает, куда на самом деле ходят поисковые роботы и что им отвечает сайт. Каноникалисты отбирают из логов ответы 404, 301 с несколькими шагами и 5xx, группируют их по старым адресам и сверяют с картой URL. Так у магазина одежды после чужого переезда нашли 3 200 ошибок 404 за 2 часа.
Что даёт анализ логов сервера для SEO?
Анализ логов сервера для SEO даёт то, чего нет в отчётах краулера: реальные обращения роботов Яндекса и Google к каждому адресу, коды ответа и частоту обходов. В логах видны 404 на старых адресах, по которым ещё приходят роботы и люди, и цепочки редиректов. Каноникалисты разбирают логи парсером, а не вручную.
Чем аудит по логам отличается от проверки краулером?
Аудит по логам сервера и проверка краулером ищут разное. Краулер обходит ссылки, которые есть на сайте сейчас, и не знает про адреса старой версии. Логи записывают все запросы, в том числе по ссылкам с чужих сайтов и из закладок. Каноникалисты используют оба способа: краулер — для карты URL, логи — для ошибок после запуска.
Кому не нужен аудит 404 по логам сервера?
Аудит 404 по логам сервера не нужен лендингам: на сайте из одной страницы нечего искать в логах. Он нужен сайтам с тысячами адресов — интернет-магазинам и каталогам, особенно после переезда или смены CMS. Если переезд ещё впереди, дешевле сразу заказать переезд по карте редиректов, чем потом искать потерянные адреса.