Из-за большого объема данных в Интернете поисковые системы не сразу узнают о появлении новых страниц или изменении старых. Соответственно, поисковый индекс является своего рода историческим слепком сети, а не его текущим представлением. Пользователь же ожидает видеть актуальную информацию при клике на результаты поиска. Но обходить интернет с частотой появления/обновления контента в нем для хранения свежего индекса невозможно.
Частично это проблема решается в Яндексе, Google и других ПС расстановкой приоритетов сканирования, которые зависят от различных параметров. Также, поисковые системы предоставляют вебмастерам различные инструменты, позволяющие уведомлять об изменениях на сайте, что, в свою очередь, меняет приоритеты сканирования.
- В Яндексе таким инструментом является "Переобход страниц" в панели для вебмастеров.
- Bing с сентября этого года использует URL Submission API.
- В Google имеется Indexing API, который по умолчанию предназначен не для всех типов контента.
С недавнего времени Яндекс и Bing начали также поддерживать протокол IndexNow.
IndexNow — это простой API для информирования поисковых систем об изменениях на сайте: появлении новых страниц, удалении старых, обновлении контента. В Яндексе его можно использовать вместо или вместе с инструментом переобхода страниц. Однако, поисковики не дают гарантий, что страницы будут быстро переобходиться или это каким-либо образом повлияет на скорость индексации или переиндексации контента.
Формат API запроса:
https://yandex.ru/indexnow?url=url-changed&key=your-key
Где ключ key соответствует регулярному выражению ^[a-zA-Z-]{8,128}$
Полный протокол описан по ссылке: https://www.indexnow.org/locale/ru_ru/documentation
Пример API запроса:
https://yandex.ru/indexnow?url=https://devaka.info/articles/indexnow&key=devakatalk
Где ключ devakatalk это соответствующий txt-файл в корне сайта, имеющий такое же содержимое.
Для проверки, как именно работает IndexNow в Яндексе было проведено исследование, результаты которого опубликованы в этой статье.
Цели исследования
Данное исследование преследует несколько целей. А именно, проверить:
- Как быстро сканируются страницы после запроса IndexNow?
- Как быстро индексируются новые страницы в Яндексе?
- Можно ли быстро удалять страницы из индекса?
- В чем отличие работы IndexNow от инструмента "Переобход страниц"?
И в целом, найти особенности поведения яндексбота при разных запросах IndexNow.
Проведение исследования
Для подопытного сайта:
- Отправляем запросы IndexNow для разных страниц
- Отправляем похожие запросы через "Переобход страниц" в панели вебмастеров Яндекса
- Анализируем серверные логи
- Анализируем выдачу Яндекса
- Оцениваем работу IndexNow и находим отличия с переобходом
Результаты: 1. Переиндексация страниц
00:26 — отправляем 35 старых страниц через IndexNow
00:26 — Яндекс проверил ключ "GET /devakatalk.txt HTTP/1.1" 200 "Python-urllib/2.6"
00:36 — (через 10 минут) ничего не происходит, в логах нет запросов отправленных страниц
07:23 — (через 7 часов) ничего не произошло
...
07:23 — отправляем те же страницы на переобход
07:24 — в течение минуты все страницы были пересканированы
Использование IndexNow для старых страниц не дало видимого эффекта. По крайней мере за несколько часов. Возможно, приоритет сканирования этих страниц где-то в базе Яндекса изменился, но это не точно. Инструмент "Переобход страниц" сработал намного быстрее.
Результаты: 2. Сканирование новых страниц
12:03 — отправляем 887 новых страниц (ранее не известных Яндексу) через IndexNox
12:03 — начинают сканироваться страницы
12:13 — отсканировано 834 из 887 страниц, процесс остановился
12:16 — отправляем 100 дополнительных новых страниц через "Переобход"
12:17 — в течение минуты все 100 страниц просканированы
Новые страницы IndexNow сканирует охотней, чем старые, по умолчанию устанавливая им высокий приоритет. Сканирование, при этом, проходило всего 10 минут. Возможно, это является лимитом и количество просканированных страниц будет зависеть от скорости их отдачи сервером.
Переобход также просканировал страницы быстро, но количество лимитов ограничивает возможности этого инструмента. Дадим по единице каждому инструменту в борьбе против друг друга.
IndexNox vs Переобход — 1:2
Результаты: 3. Индексация страницы
7:47 — создана новая страница
7:49 — добавлена через IndexNow и сразу просканирована Яндексом
8:19 — (через 30 мин) в индексе ничего нет
8:20 — добавлена еще раз через IndexNow
8:21 — пересканирована роботом Яндекса
8:33 — (через 44 мин) еще нет в индексе
8:34 — добавлена на переобход в панели вебмастеров
8:47 — страница появилась в индексе с пометкой "57 минут назад"
IndexNow не торопится добавлять страницы в индекс, хотя сохраняет в базу с отметкой времени, когда он о ней впервые узнал. Появилась гипотеза, что на индексацию повлиял переобход, а не IndexNow, поэтому, нужна была перепроверка.
8:03 — создана новая страница
8:04 — добавлена на переобход через панель и сразу просканирована
8:10 — в индексе Яндекса ничего нет
8:20 — (через 16 минут) отправлен запрос в IndexNow
Страница после этого запроса не была пересканирована (в логах отсутствует запись)
8:29 — (через 24 минуты после первого запроса, 9 минут после второго) появилась в индексе
Не получилось проиндексировать страницу одним инструментом, было малое время ожидания. Поэтому, перепроверяем еще раз.
8:38 — создана новая страница
отправлялась на переобход в панели вебмастеров каждые 2 минуты
8:38, 8:44 — страница переобошлась роботом всего 2 раза
8:47 — страница в индексе (рекорд — 9 минут)
Отправка одного запроса через переобход не давала быстрых результатов, поэтому проверялись повторные отправки. Рекорд по индексации новой страницы составил 9 минут, для этого необходимо было несколько раз отправить страницу на переобход. Второй переобход произошел не раньше чем через 6 минут после первого.
Еще одна проверка была проведена для того, чтобы убедиться, что в течение нескольких часов страница не появится в индексе благодаря инструменту IndexNow.
12:43 — создается новая страница и наполняется контентом
12:46 — запрос IndexNow и практически моментальное сканирование страницы
13:06 — (через 20 минут) в индексе Яндекса страницы нет
15:26 — (через 2 часа 40 минут) в индексе по-прежнему ничего
15:28 — отправлен запрос на переобход через панель вебмастеров
15:30 — (через 2 минуты после переобхода) страница появилась в индексе с пометкой "2 часа назад"
Индексация дает 1 очко в пользу переобхода. IndexNow vs Переобход — 1:3.
Результаты: 4. Удаление из индекса
Мы уже знаем, что старые страницы IndexNow проходит с неохотой. Но это необходимо было проверить.
15:37 — удаляется страница, возвращается 404 код статуса
15:38 — отправляется запрос в IndexNow
16:14 — (через 36 минут) ничего не происходит, страница даже не пересканирована
16:15 — отправлен запрос на переобход в вебмастере
16:27 — (через 12 минут после второго запроса) страница удалена из индекса
Удаление в пользу переобхода. IndexNow vs Переобход — 1:4.
Итоги исследования IndexNow
- Используйте IndexNow для сканирования новых урлов.
- Отдавайте страницы как можно быстрее (лимит — 10 минут).
- IndexNow работает нестабильно, при достаточном количестве лимитов используйте "Переобход".
- Конструкция 301 -> 200 или 301 -> 404 позволяет создавать новые урлы для старых.
Полезные инструменты и ссылки
Букмарклет, позволяющий в один клик отправлять запрос в Яндекс через IndexNow https://devaka.info/bookmarklets
Удобный инструмент для массовой отправки урлов https://majento.ru/index.php?page=seo-analize/indexnow
Официальная документация по IndexNow в справке Яндекса https://yandex.ru/support/webmaster/indexing-options/index-now.html
Телеграм-канал DevakaTalk с полезной информацией по SEO https://t.me/devakatalk
Источник публикации: Devaka
Что думаете?
Загружаем комментарии…