Почему новые страницы не попадают в индекс Яндекса и Google
Почему новые страницы не попадают в индекс Яндекса и Google
Короткий ответ. Новая страница не попадает в индекс по одной из трёх причин. Робот её не нашёл, робот не смог её просканировать или поисковик решил, что страница не нужна в индексе. На практике чаще всего виноваты запрет в robots.txt, мета-тег noindex, ошибочный canonical, отсутствие внутренних ссылок, дубли и слабый контент. Google сам пишет, что сканирование и индексирование новой страницы может занять до недели. Если прошло больше двух недель, а страницы всё ещё нет в поиске, пора проверять её по алгоритму ниже.
Как поисковик добавляет страницу в индекс
Чтобы понять, где именно застряла страница, полезно знать три этапа индексации.
- Обнаружение. Робот узнаёт о новом адресе из внутренних и внешних ссылок, файла Sitemap, уведомлений через IndexNow или из инструментов вебмастера.
- Сканирование. Робот запрашивает страницу, получает ответ сервера и содержимое. Если страница отдаёт ошибку или закрыта в robots.txt, на этом всё заканчивается.
- Индексирование. Поисковик анализирует содержимое и решает, добавлять ли страницу в базу. На этом этапе он отсеивает дубли, страницы с noindex и малополезные страницы.
Если страница застряла на первом этапе, нужно помочь роботу её найти. Если на втором, проблема техническая. Если на третьем, обычно дело в дублях или качестве контента.
Сколько ждать индексации
Срок зависит от сайта. Чем чаще робот заходит на сайт и чем лучше устроена перелинковка, тем быстрее индексируются новые страницы. Ориентиры ниже взяты из практики.
| Ситуация | Ориентировочный срок |
|---|---|
| Новая страница на крупном сайте, который часто обновляется | От нескольких часов до нескольких дней |
| Новая страница на обычном коммерческом сайте | От нескольких дней до 2 недель |
| Совсем новый сайт | От 2 недель до 1-2 месяцев |
| Страница на сайте с тысячами дублей и слабой перелинковкой | Может не попасть в индекс вообще |
Пошаговый алгоритм проверки
Проверяйте шаги по порядку. Если найдёте проблему на раннем шаге, исправьте её и только потом переходите дальше.
Шаг 1. Убедитесь, что страницы действительно нет в индексе
- Яндекс. Откройте инструмент «Индексирование → Проверка статуса URL» в Вебмастере. Он покажет, есть ли страница в поиске, когда робот её обходил и какой код ответа получил. Для быстрой проверки подойдёт поиск с оператором url и адресом страницы.
- Google. Вставьте адрес в строку «Проверка URL» в Search Console. Если там написано, что URL нет в индексе Google, ниже будет указана причина.
Оператор site с адресом сайта годится для грубой оценки, но число результатов по нему неточное.
Шаг 2. Проверьте ответ сервера
Страница должна отдавать код 200. Проверьте это в Вебмастере, в инструменте «Инструменты → Проверка ответа сервера», и в Search Console, кнопкой «Проверить страницу на сайте». Если страница отдаёт 404, 5xx или перенаправляет на другой адрес, в индекс она не попадёт.
Шаг 3. Проверьте robots.txt
Убедитесь, что адрес страницы или весь раздел не закрыт директивой Disallow. В Вебмастере для этого есть инструмент «Инструменты → Анализ robots.txt», где можно проверить конкретные URL. В Search Console статус «Заблокировано в файле robots.txt» показывает отчёт «Индексирование → Страницы».
Шаг 4. Проверьте мета-теги и заголовки
Откройте исходный код страницы и найдите <meta name="robots" content="noindex">. Также запрет на индексацию может приходить в HTTP-заголовке X-Robots-Tag, его видно в инструментах проверки ответа сервера. Такая директива часто остаётся в шаблоне после разработки.
Шаг 5. Проверьте canonical
Тег canonical должен указывать на саму страницу или на её основную версию. Если canonical новой карточки товара указывает на категорию или главную, поисковик посчитает карточку копией и не добавит её в индекс. Google в инструменте проверки URL показывает два адреса, канонический по мнению сайта и канонический по выбору Google.
Шаг 6. Убедитесь, что робот может найти страницу
- Есть ли на страницу ссылки из меню, каталога, блога или со смежных страниц?
- Есть ли страница в файле Sitemap, и отправлен ли он в Вебмастер и Search Console?
- Не стоит ли ссылка на страницу только внутри JavaScript-кнопки, без обычного тега со ссылкой?
Страница, на которую никто не ссылается, называется сиротой. Робот находит такие страницы долго или не находит совсем.
Шаг 7. Проверьте, видит ли робот контент
Если сайт построен на JavaScript, сравните исходный HTML и то, что видит пользователь. В Search Console проверьте отрисованную версию страницы через инструмент проверки URL. В Яндекс Вебмастере есть настройка рендеринга страниц с JavaScript, но надёжнее всего серверный рендеринг.
Шаг 8. Оцените качество и уникальность страницы
Если технически всё в порядке, а страница не индексируется, причина обычно в содержимом. Страница повторяет другие страницы сайта, содержит мало текста, состоит из шаблонных блоков или копирует описание производителя, которое есть на сотне сайтов.
Шаг 9. Посмотрите статус в отчётах
- В Яндекс Вебмастере откройте «Индексирование → Страницы в поиске → Исключённые» и найдите адрес. Статус подскажет причину, например «Дубль», «Неканоническая» или «Малоценная или маловостребованная страница».
- В Search Console откройте «Индексирование → Страницы» и посмотрите, в какой группе находится URL.
Шаг 10. Сообщите поисковикам о странице
После исправлений отправьте страницу на переобход. В Яндексе для этого есть инструмент «Индексирование → Переобход страниц», в Google кнопка «Запросить индексирование» в инструменте проверки URL. Подробнее о способах ускорить индексацию написано ниже.
Таблица причин и решений
| Причина | Как проявляется в Яндексе | Как проявляется в Google | Что делать |
|---|---|---|---|
| Робот ещё не нашёл страницу | Страницы нет в обходе, статус в Вебмастере не определён | «Обнаружена, не проиндексирована» или URL неизвестен Google | Добавить внутренние ссылки, обновить Sitemap, отправить на переобход |
| Запрет в robots.txt | Страница не обходится, в статусе указан запрет в robots.txt | «Заблокировано в файле robots.txt» | Убрать запрет для нужных разделов |
| Мета-тег noindex | Страница исключена из-за noindex | «Исключено с помощью тега noindex» | Удалить noindex из шаблона |
| Неверный canonical | Статус «Неканоническая» | Страница считается копией, Google выбрал другой канонический адрес | Исправить canonical на собственный адрес |
| Дубль другой страницы | Статус «Дубль» | Страница является копией, канонический вариант не выбран пользователем | Сделать контент уникальным или настроить canonical |
| Слабый или неуникальный контент | «Малоценная или маловостребованная страница» | «Страница просканирована, но пока не проиндексирована» | Расширить и уникализировать содержимое |
| Ошибка сервера | Ошибка обхода, коды 5xx в статистике обхода | «Ошибка сервера (5xx)» | Устранить проблемы сервера, проверить нагрузку |
| Страница отдаёт 404 или пустая | Код 404 или пустой ответ | «Не найдено (404)» или «Ложная ошибка 404» | Исправить адрес или наполнить страницу |
| Редирект | Страница перенаправляет на другой адрес | «Страница с переадресацией» | Убрать лишний редирект или ссылаться на конечный адрес |
| Контент на JavaScript | В индексе пустая страница или каркас | Отрисованный HTML без основного контента | Серверный рендеринг, настройка рендеринга в Вебмастере |
| Робот не успевает обойти сайт | Новые страницы долго ждут обхода | Много URL «Обнаружена, не проиндексирована» | Закрыть мусорные URL, ускорить сервер, улучшить перелинковку |
Важное различие в Google
Два похожих статуса в Search Console означают разное. «Обнаружена, не проиндексирована» значит, что Google знает о странице, но ещё её не сканировал. Обычно это связано с лимитом сканирования или нагрузкой на сервер. «Страница просканирована, но пока не проиндексирована» значит, что Google уже видел страницу, но решил пока не добавлять её в индекс. Чаще всего это вопрос качества и уникальности.
Список технических ошибок, которые мешают индексации
Ниже ошибки, которые мы чаще всего находим при проверке новых страниц на коммерческих сайтах.
- Тестовый robots.txt на рабочем сайте. После выкладки с тестового сервера в файле остаётся запрет на обход всего сайта или раздела.
- Noindex в шаблоне. Разработчики закрыли страницы на время работ и забыли открыть. Особенно часто это случается с новыми типами страниц, например с карточками нового раздела.
- Canonical на чужую страницу. Шаблон подставляет в canonical адрес категории, главной или первой страницы пагинации.
- Страница не связана с сайтом. Новый товар или статья опубликованы, но на них нет ссылок из каталога, меню или блога.
- Устаревший Sitemap. Файл не обновляется автоматически, новых страниц в нём нет, зато есть удалённые.
- Ошибки сервера в момент обхода. Сайт падает под нагрузкой или блокирует роботов защитой от ботов и DDoS.
- Блокировка роботов на уровне хостинга. Файрвол или защита от ботов по ошибке отсекает поисковых роботов, и они получают код 403 или капчу.
- Цепочки редиректов. Ссылки на сайте ведут на адрес, который перенаправляет на другой, а тот на третий.
- Контент только после выполнения JavaScript. Товары, цены и тексты подгружаются скриптом, а в исходном HTML пусто.
- Ссылки без нормального тега. Переходы сделаны через кнопки с обработчиком клика, и робот не видит такие ссылки.
- Тысячи мусорных URL. Фильтры, сортировки, GET-параметры и метки создают огромное число адресов, и робот тратит на них свои ресурсы вместо новых страниц.
- Разные версии одного адреса. Страница открывается со слешем и без него, с www и без, по HTTP и HTTPS, и все версии отдают код 200.
- Мягкая ошибка 404. Страница отдаёт код 200, но показывает текст «Товар не найден» или пустой шаблон. Google относит такие страницы к ложным ошибкам 404.
- Запрет индексации ресурсов. В robots.txt закрыты папки со стилями и скриптами, и робот не может правильно отрисовать страницу.
- Медленный ответ сервера. Если сервер отвечает медленно, робот обходит меньше страниц за визит, и новые адреса ждут очереди дольше.
Как ускорить индексацию новых страниц
Способы ускорения у поисковиков разные. Учтите, что любые уведомления только приглашают робота зайти на страницу. Решение об индексации поисковик принимает сам.
| Способ | Яндекс | |
|---|---|---|
| Ручная отправка URL | «Индексирование → Переобход страниц», суточный лимит зависит от сайта и виден в инструменте | «Запросить индексирование» в инструменте проверки URL, число запросов ограничено |
| Файл Sitemap | Поддерживается, отправляется в «Индексирование → Файлы Sitemap» | Поддерживается, отправляется в отчёте «Файлы Sitemap». Google учитывает lastmod, но не использует changefreq и priority |
| IndexNow | Поддерживается, можно подключить через API или плагин CMS | Не поддерживается |
| Обход по счётчику Метрики | Поддерживается, включается в «Индексирование → Обход по счётчикам» | Не применимо |
| Indexing API | Не применимо | Только для страниц с вакансиями и прямыми трансляциями |
| Внутренние ссылки | Работают | Работают |
Что работает лучше всего
- Ставьте ссылки на новые страницы с главной, из каталога и из свежих материалов блога.
- Настройте автоматическое обновление Sitemap при публикации.
- Подключите IndexNow для Яндекса, во многих CMS это делается плагином.
- Включите обход по счётчику Метрики, тогда Яндекс узнаёт о страницах, на которые заходят пользователи.
- Отправляйте вручную только самые важные страницы, а не весь сайт.
Что не работает
- Отправка одной и той же страницы на переобход каждый день. Индексацию это не ускоряет.
- Ping-отправка Sitemap в Google. Этот способ отключён, Google просит указывать Sitemap в robots.txt или отправлять его через Search Console.
- Использование Google Indexing API для обычных страниц. Google разрешает этот API только для вакансий и трансляций.
- Покупка ссылок ради индексации. Риск санкций выше пользы.
FAQ. Частые вопросы об индексации новых страниц
Сколько ждать, прежде чем начинать проверку?
Google пишет, что сканирование и индексирование новой страницы может занять до недели. Если через неделю страницы нет в индексе, а она важна для бизнеса, запросите индексацию вручную. Если не помогло и через две недели, проверьте страницу по алгоритму из этой статьи.
Почему страница есть в Google, но её нет в Яндексе, или наоборот?
У поисковиков разные роботы, лимиты обхода и требования к качеству. Яндекс чаще исключает страницы как малоценные или маловостребованные, Google чаще оставляет их в статусе «Страница просканирована, но пока не проиндексирована». Если страница проиндексирована только в одной системе, проверьте её статус в инструменте второй, причина обычно указана там.
Помогает ли повторная отправка на переобход?
Один раз помогает сообщить роботу о новой странице или об исправлении. Повторные отправки той же страницы без изменений ничего не дают. Если страница с технической стороны в порядке, но не индексируется, дело не в роботе, а в самой странице.
Нужно ли добиваться, чтобы в индексе были все страницы сайта?
Нет. Google прямо пишет, что в индекс должны попадать не все страницы, а только канонические и полезные. Страницы фильтров, сортировок, дубли и служебные разделы не нужны в индексе. Важно, чтобы туда попали все страницы, которые вы продвигаете.
Почему проиндексированной страницы нет в поиске по нужному запросу?
Индексация и ранжирование это разные этапы. Страница может быть в индексе, но занимать низкие позиции, потому что хуже отвечает на запрос или проигрывает конкурентам. Проверить, проиндексирована ли страница, можно в инструментах проверки URL, а позиции смотрите в отчётах «Эффективность» Вебмастера и Search Console.
Вывод
Если новые страницы не попадают в индекс Яндекса и Google, двигайтесь от простых причин к сложным. Сначала убедитесь, что страницы действительно нет в индексе. Затем проверьте ответ сервера, robots.txt, noindex и canonical. После этого проверьте, может ли робот найти страницу и увидеть её контент, а потом оцените уникальность и полезность содержимого. Большинство проблем с индексацией решается за один-два дня, если знать, где искать. Чтобы новые страницы индексировались быстро и без сбоев, поддерживайте актуальный Sitemap, связывайте страницы внутренними ссылками, подключите IndexNow и обход по Метрике для Яндекса и раз в неделю просматривайте отчёты об индексировании.