Генератор robots.txt

Онлайн-генератор robots.txt с User-agent, Allow, Disallow и Sitemap для базовой настройки индексации сайта.

Обработка выполняется локально в браузере. Данные не отправляются на сервер.

Генератор robots.txt — бесплатный онлайн-инструмент. Онлайн-генератор robots.txt с User-agent, Allow, Disallow и Sitemap для базовой настройки индексации сайта. Обработка выполняется локально в браузере. Данные не отправляются на сервер.

Что делает

На выходе

Обработка

Продолжить работу

Выберите связанный инструмент для следующего шага.

Данные для перехода между инструментами хранятся только в памяти текущей сессии браузера.

Как пользоваться

Выберите сценарий: разрешить индексацию, закрыть служебные разделы, закрыть сайт от индексации или настроить правила вручную.
Укажите User-agent, Allow, Disallow и Sitemap URL.
Проверьте предупреждения, особенно если используется Disallow: / или закрываются важные разделы сайта.
Скопируйте или скачайте robots.txt и разместите его в корне сайта.

Подробнее

Генератор robots.txt помогает создать стартовый файл robots.txt для сайта. Сервис позволяет настроить User-agent, Allow, Disallow, Sitemap и при необходимости Host. Инструмент подходит для новых сайтов, тестовых окружений, SEO-настройки, закрытия служебных разделов и подготовки черновика перед публикацией. robots.txt даёт инструкции поисковым роботам, но не защищает приватные страницы и не заменяет авторизацию, серверные ограничения доступа, meta robots, canonical и полноценный SEO-аудит.

Работает в браузере
Данные не отправляются на сервер
Генерирует robots.txt
Поддерживает User-agent, Allow и Disallow
Добавляет Sitemap
Есть сценарии для типовых настроек
Показывает предупреждения по опасным правилам
Можно скачать готовый robots.txt
Не требует регистрации

Частые вопросы

Что такое robots.txt?

robots.txt — это текстовый файл в корне сайта, который сообщает поисковым роботам, какие разделы можно или нельзя обходить.

Где размещать robots.txt?

Файл обычно размещают в корне сайта, например https://example.com/robots.txt.

Что означает User-agent: *?

User-agent: * означает, что правила применяются ко всем роботам, которые учитывают robots.txt.

Что делает Disallow?

Disallow указывает путь, который роботам не следует обходить. Например, Disallow: /admin закрывает раздел /admin от обхода.

Что делает Allow?

Allow явно разрешает обход указанного пути. Его используют, когда нужно открыть часть раздела, который иначе закрыт правилом Disallow.

Что означает Disallow: /?

Disallow: / закрывает весь сайт от обхода поисковыми роботами. Это полезно для тестовых окружений, но опасно для production-сайта, если вы хотите индексацию.

Зачем нужен Sitemap в robots.txt?

Sitemap помогает поисковым системам найти XML-карту сайта. Обычно указывают абсолютный URL, например https://example.com/sitemap.xml.

Защищает ли robots.txt приватные страницы?

Нет. robots.txt не является защитой доступа. Приватные страницы нужно защищать авторизацией, серверными правилами и другими механизмами безопасности.

Что такое Host в robots.txt?

Host — директива, которая поддерживается не всеми поисковыми системами и чаще встречалась в контексте Яндекса. Для большинства сайтов важнее корректные Sitemap, canonical и редиректы.

Можно ли закрыть сайт от индексации через robots.txt?

Можно добавить Disallow: /, но это запрещает обход, а не всегда гарантирует удаление URL из индекса. Для управления индексацией также используют meta robots, заголовки и инструменты вебмастеров.

Загружаются ли данные на сервер?

Нет. robots.txt генерируется локально в браузере и не отправляется на сервер.

Нужна ли регистрация?

Нет. Инструмент работает сразу и не требует регистрации.

Продолжить работу

Выберите связанный инструмент для следующего шага.

Данные для перехода между инструментами хранятся только в памяти текущей сессии браузера.

Как пользоваться

Выберите сценарий: разрешить индексацию, закрыть служебные разделы, закрыть сайт от индексации или настроить правила вручную.

Укажите User-agent, Allow, Disallow и Sitemap URL.

Проверьте предупреждения, особенно если используется Disallow: / или закрываются важные разделы сайта.

Скопируйте или скачайте robots.txt и разместите его в корне сайта.

Подробнее

Работает в браузере
Данные не отправляются на сервер
Генерирует robots.txt
Поддерживает User-agent, Allow и Disallow
Добавляет Sitemap
Есть сценарии для типовых настроек
Показывает предупреждения по опасным правилам
Можно скачать готовый robots.txt
Не требует регистрации

Частые вопросы

Что такое robots.txt?

Где размещать robots.txt?

Файл обычно размещают в корне сайта, например https://example.com/robots.txt.

Что означает User-agent: *?

User-agent: * означает, что правила применяются ко всем роботам, которые учитывают robots.txt.

Что делает Disallow?

Disallow указывает путь, который роботам не следует обходить. Например, Disallow: /admin закрывает раздел /admin от обхода.

Что делает Allow?

Что означает Disallow: /?

Зачем нужен Sitemap в robots.txt?

Защищает ли robots.txt приватные страницы?

Что такое Host в robots.txt?

Можно ли закрыть сайт от индексации через robots.txt?

Загружаются ли данные на сервер?

Нет. robots.txt генерируется локально в браузере и не отправляется на сервер.

Нужна ли регистрация?

Нет. Инструмент работает сразу и не требует регистрации.