Проверка robots.txt онлайн

Загрузит robots.txt с указанного сайта, распарсит правила Allow/Disallow и покажет, разрешён ли конкретный URL для выбранного бота. Отобразит все Sitemap:, предупредит об ошибках в файле. Для создания файла - генератор robots.txt.

Содержимое robots.txt


        

    


    
    

        Все нейросети без VPN за 149₽ пополнение картой МИР и СБП
    



    

        
Чем отличается от /tools/robots

        
Генератор robots.txt создаёт файл по шаблонам (WordPress, Bitrix и т.д.). Этот тул - проверяющий: берёт готовый файл с сайта и говорит, пустит ли бот на конкретный URL.


        
Как пользоваться

        
    
            
  1. Домен. Можно без https:// - инструмент сам допишет.
    2. 
            
  2. Путь. Например, /admin или /catalog/offer-1.
    3. 
            
  3. User-Agent. Googlebot, YandexBot, GPTBot или другой.
    4. 
            
  4. Смотрите вердикт. Разрешён ли URL для бота, с какой строкой правила.
    5. 
        


        
robots.txt - это обязательно?
Нет, но желательно. Без него бот сам решает, что индексировать, может залезть в закрытые разделы и утащить дубликаты.

        
Можно блокировать AI-ботов (GPTBot, ClaudeBot)?
Да. Добавьте User-agent: GPTBot + Disallow: /. Проверить блок - этим инструментом.