Toolipedia Встроить
RU
← Все инструменты для текста

Проверка robots.txt

Загрузите или вставьте robots.txt и проверьте, могут ли Googlebot и другие роботы посещать URL.

  • Бесплатно
  • Без регистрации
  • Работает на любом устройстве

Около Проверка robots.txt

Загрузите файл robots.txt сайта или вставьте свой и проверьте, может ли краулер вроде Googlebot открыть заданный URL. Правила сопоставляются по user-agent, и побеждает самый длинный подходящий путь. Помните, что robots.txt блокирует сканирование, а не индексирование, поэтому заблокированные URL всё равно могут появляться в поиске.

Как пользоваться инструментом «Проверка robots.txt»

  1. Введите адрес сайта, чтобы получить его robots.txt, или вставьте содержимое файла.
  2. Введите путь URL, который хотите проверить.
  3. Выберите краулер и посмотрите, разрешён он или заблокирован.

Чем полезен этот инструмент?

Другие названия

Частые вопросы

Скрывает ли robots.txt страницу от Google?

Ненадёжно. Он останавливает сканирование, но заблокированный URL всё равно может попасть в индекс, если на него ссылаются с других сайтов. Чтобы страница не попала в выдачу, используйте тег noindex или защиту паролем.

Что означает Disallow только со слешем?

Disallow: / сообщает краулеру не посещать ни одну страницу сайта. Его часто по ошибке оставляют после тестового запуска, поэтому проверьте его перед выходом в рабочий режим.

Какое правило побеждает, если подходят и Allow, и Disallow?

Поисковые системы вроде Google следуют самому конкретному правилу, которое обычно соответствует самому длинному пути. Проверьте здесь точный URL, чтобы увидеть результат для вашего файла.

Инструмент «Проверка robots.txt» бесплатный?

Да. Инструмент «Проверка robots.txt» на Toolipedia бесплатный: без регистрации и водяных знаков.

Это безопасно?

Да. Все вычисления выполняются в браузере, и ничего из введённого не отправляется на наш сервер.

Работает ли это на телефоне?

Да. Работает в любом современном браузере на Android и iPhone, а также на планшетах и компьютерах. Ничего не нужно устанавливать.

Нужна ли учётная запись?

Нет. Просто откройте страницу и пользуйтесь. Ни регистрации, ни электронной почты не нужно.

Можно ли разместить Проверка robots.txt на моём сайте?

Да. Нажмите кнопку «Встроить на свой сайт» под инструментом, чтобы скопировать короткий фрагмент кода и вставить его на страницу. Это бесплатно, аккаунт не нужен, и инструмент продолжает работать внутри вашей страницы.

Похожие инструменты