Как проверить robots.txt сайта?
WiseLab · Обновлено
Откройте https://ваш-домен/robots.txt и проверьте фактический ответ сервера. Затем проверьте правило для нужного поискового робота и конкретного URL: разрешение обхода не означает, что страница уже в индексе.
Проверьте файл и ответ сервера
Файл находится в корне конкретного хоста и протокола: https://example.com/robots.txt. Проверьте статус ответа, редиректы и окончательное содержимое. Файл /.robots.txt не является стандартным адресом. Если сайт использует разные хосты, проверяйте каждый отдельно.
Проверьте нужный URL
Найдите группу User-agent для поискового робота, затем сопоставьте Allow и Disallow с путём страницы. В Search Console проверьте, может ли Google обойти точный URL. После изменения файла проверьте ответ production, потому что CDN или платформа могут отдавать другую версию.
Не путайте обход с индексацией
robots.txt управляет обходом, а не закрывает конфиденциальные данные. Если закрыть страницу через Disallow, робот может не увидеть её noindex. Для снятия страницы с индексации нужен доступный роботу noindex либо другой подходящий способ удаления; приватные материалы требуют авторизации.
Как применить
- Откройте /robots.txt на нужном хосте и проверьте код ответа.
- Выберите робота и конкретный URL для проверки правил.
- Сверьте результат в инструменте поисковой системы и повторите проверку после публикации.
На примере
В файле есть Disallow: /admin/. Проверьте /admin/login для выбранного User-agent; правило не запрещает автоматически все адреса сайта.
Разрешённый robots.txt URL может быть закрыт noindex, выбран как дубль или не включён в индекс по другим причинам.
Открыть инструмент по темеИсточники
Подготовлено с помощью ИИ по указанным источникам. Примеры с условными данными используются для объяснения и не описывают результаты клиентов.