Для чего нужен robots.txt
Файл robots.txt сообщает поддерживающим его роботам правила обхода сайта. Он находится в корне домена и действует на адреса соответствующего протокола и хоста. С его помощью можно ограничить обход служебных разделов, описать исключения и указать расположение карты сайта.
Генератор WebSoftLeader собирает файл из понятных полей. Вы задаёте общие правила, запрещённые пути, разрешённые исключения и адрес sitemap.xml. Отдельная настройка позволяет запретить GPTBot, сохранив общую политику для других роботов.
Как создать файл
- Введите адрес сайта без пути, например https://example.ru.
- Выберите общую политику: открыть сайт с указанными ограничениями или запретить обход.
- Добавьте запрещённые пути, по одному на строку. Все пути начинаются с /.
- При необходимости добавьте разрешённые исключения.
- Укажите sitemap.xml или оставьте поле пустым, чтобы использовать стандартный адрес в корне сайта.
- Нажмите «Собрать robots.txt», проверьте результат тестером и скачайте файл.
Начальные пути в форме являются примерами для распространённых служебных разделов. Перед размещением проверьте реальные адреса своего сайта. У разных CMS корзина, личный кабинет и административные страницы расположены по-разному.
Как работает тестер правил
Под готовым файлом появится поле URL и название робота. Вставьте адрес своего сайта и User-Agent, например Googlebot или OAI-SearchBot. Тестер покажет, разрешён ли этот путь по подготовленным правилам, и выведет совпавшее разрешение или запрет.
Для поддерживаемого синтаксиса учитываются отдельные группы User-agent, Всеow, Disallow, символ * и окончание $. При пересечении правил выбирается более конкретное совпадение; при одинаковой специфичности разрешение получает преимущество. Тестер сравнивает пути с учётом регистра.
Он не обращается к проверяемой странице и не меняет файл на сервере. Это проверка содержимого, которое вы только что собрали. После загрузки файла на сайт проверьте его фактическую доступность по адресу /robots.txt.
Пример запрета и исключения
Если нужно закрыть раздел /catalog/private/, добавьте его в запрещённые пути. Если внутри есть публичная страница /catalog/private/example/, можно добавить для неё разрешённое исключение. Затем проверьте обе ссылки тестером, чтобы увидеть действие правил.
Всеow и Disallow задают совпадения путей, поэтому важно проверять похожие адреса. Например, запрет /admin может затронуть путь, начинающийся так же. Значение /admin/ точнее отражает отдельный раздел с завершающим слешем.
Открытый сайт, тестовый сайт и индексация
Для рабочего публичного сайта запрет Disallow: / обычно требует внимания. Но для отдельной среды разработки он может быть намеренным. При этом robots.txt не защищает закрытые данные и не заменяет пароль или серверные права доступа.
Запрет обхода также не равен гарантированному удалению адреса из поиска. Если нужна директива noindex, робот должен иметь возможность получить её со страницы или HTTP-ответа. Не совмещайте настройки без понимания того, какую задачу решает каждая.
GPTBot и OAI-SearchBot
Выбор «Запретить обход GPTBot» создаёт отдельную группу для этого робота. Он связан с возможным использованием содержимого для обучения моделей OpenAI. Поисковый OAI-SearchBot при этом продолжает использовать общие правила, если вы не добавляете для него отдельную политику самостоятельно.
Перед заменой существующего файла сохраните его копию. Проверьте, нет ли специальных правил для вашего магазина, параметров URL или отдельных роботов. Генератор создаёт новый файл по введённым данным и автоматически не объединяет его с прежними настройками.