Вид
Язык страницыАнглийский перевод доступен в поддерживаемом браузере
Цвет сайта
Авто
Один вопрос — весь сайт
Ответы, статьи, инструменты и уроки. Ищите по словам, тегам и сокращениям — с опечатками или транслитерацией.
- Ответы
Как настроить robots.txt?
Разместите robots.txt в корне, например https://example.com/robots.txt. Для закрытия служебного раздела используйте User-agent: * и Disallow: /admin/; не используйте файл для удаления уже известных страниц из индекса.
- Ответы
Как проверить robots.txt сайта?
Откройте https://ваш-домен/robots.txt и проверьте фактический ответ сервера. Затем проверьте правило для нужного поискового робота и конкретного URL: разрешение обхода не означает, что страница уже в индексе.