构建器
User-Agent
Allow / Disallow 规则
选项
robots.txt 

        

    






        
        


        


        
        

            robots.txt 文件在您的浏览器中生成。不会发送到服务器。
            
        


    


    
    


        
Robots.txt 生成器


        

            

                
工具功能

                
选择用户代理（或使用 * 表示所有机器人），为特定路径添加 Allow 和 Disallow 规则，并可选设置爬取延迟和 sitemap URL。右侧实时预览显示确切的 robots.txt 内容。使用预设快速开始，然后根据网站结构调整规则。

            

            

                
使用方法

                
    
                    
  1. 点击预设（如 WordPress）或从允许所有开始。
    2. 
                    
  2. 选择 User-Agent — 使用 * 表示所有爬虫。
    3. 
                    
  3. 为要屏蔽的路径添加 Disallow 规则。
    4. 
                    
  4. 在选项部分可选添加 Sitemap URL。
    5. 
                    
  5. 点击复制或下载获取文件。
    6. 
                

            

        

        

            
常见问题

            

                什么是 robots.txt？
                
robots.txt 是放在网站根目录的纯文本文件，告诉爬虫哪些页面可以或不可以访问。它遵循 Robots Exclusion Protocol，是爬虫最先检查的文件。它能控制抓取预算，但不是安全机制，页面仍可被直接访问。

            

            

                Disallow: / 是什么意思？
                
Disallow: / 禁止爬虫访问网站的任何页面，是最严格的规则。只有在想彻底阻止某个机器人抓取整个网站时才使用，例如屏蔽 GPTBot 等 AI 训练爬虫。

            

            

                Allow 和 Disallow 有什么区别？
                
Disallow 禁止爬虫访问某个路径。Allow 明确允许访问，可用于在被禁止的路径中设置例外。例如 Disallow /admin/ 加上 Allow /admin/public/，爬虫就只能访问 public 子目录。

            

            

                什么是 Crawl-delay？
                
Crawl-delay 告诉机器人两次请求之间需要等待多少秒，以减轻抓取时的服务器负载。注意：Google 会忽略 Crawl-delay 指令，请改用 Google Search Console 管理 Googlebot 的抓取频率。

            

            

                robots.txt 文件应该放在哪里？
                
robots.txt 必须放在域名根目录，例如 https://example.com/robots.txt，不能放在子目录中。每个子域名都需要自己的 robots.txt。