robots.txt
Как настроить robots.txt — примеры и ошибки
Один маленький файл управляет тем, какие страницы видит поиск. Ошибка в нём — и сайт пропадает из выдачи. Разберём, что писать, и проверим ваш файл за минуту.
Проверка откроется в Telegram — ответ придёт в чат за секунды.
Что такое robots.txt простыми словами
robots.txt — это обычный текстовый файл в корне сайта, который читает поисковый робот перед обходом страниц. В нём вы говорите роботу: эти разделы обходи, а эти не трогай. Файл открывается по адресу ваш-сайт.ру/robots.txt — попробуйте открыть свой прямо сейчас, он должен показаться в браузере как текст.
Файл нужен, чтобы не пускать робота в служебные разделы (корзину, личный кабинет, страницы поиска по сайту) и не засорять ими выдачу. Но именно из-за него чаще всего происходит беда: по невнимательности закрывают то, что должно быть в поиске.
Простой рабочий пример
Для большинства сайтов малого бизнеса подойдёт короткий набор правил: открыть весь сайт, закрыть служебное, указать карту сайта.
User-agent: *
Disallow: /cart
Disallow: /search
Allow: /
Sitemap: https://site.ru/sitemap.xmlUser-agent: * — правила для всех роботов. Disallow — что не обходить. Allow: / — остальное разрешено. Sitemap — адрес карты сайта, чтобы робот быстрее нашёл все страницы. Замените site.ru на свой домен.
Три ошибки, которые убивают трафик
Закрыт весь сайт
Строка Disallow: / без ничего закрывает от поиска всё. Так часто остаётся после разработки: сайт запустили, а из выдачи он пропал. Проверьте — этой строки быть не должно.
Закрыты картинки и стили
Если запретить роботу папки со стилями и скриптами, он увидит сайт «сломанным» и понизит его. Служебное закрывать можно, а оформление — нет.
Файла нет или он отдаёт ошибку
Если по адресу /robots.txt открывается ошибка 404 или страница сайта вместо текста — робот работает вслепую. Файл должен быть и должен открываться именно как текст.
Частые вопросы
Где должен лежать файл robots.txt?
В корне сайта — он должен открываться по адресу вида site.ru/robots.txt. Если лежит в подпапке или отдаёт ошибку, робот его не увидит.
Что будет, если закрыть весь сайт?
Строка Disallow: / закрывает от индексации весь сайт. Такое остаётся после разработки: сайт готов, а в поиске его нет. Одна из самых частых причин, по которой страницы не индексируются.
Нужно ли указывать sitemap?
Да. Строка Sitemap: https://site.ru/sitemap.xml подсказывает роботу, где список всех страниц. Это ускоряет попадание новых страниц в индекс.
Как проверить, правильно ли настроен файл?
Отправьте адрес сайта в проверку ТехФин — она откроет ваш robots.txt, покажет, не закрыты ли по ошибке нужные страницы, есть ли ссылка на sitemap и доступен ли файл роботу.
Проверьте свой robots.txt за минуту
Бесплатно покажем, не закрыли ли вы по ошибке нужные страницы.
Проверить сайт бесплатно