工具功能

选择用户代理（或使用 * 表示所有机器人），为特定路径添加 Allow 和 Disallow 规则，并可选设置爬取延迟和 sitemap URL。右侧实时预览显示确切的 robots.txt 内容。使用预设快速开始，然后根据网站结构调整规则。

使用方法

1. 点击预设（如 WordPress）或从允许所有开始。
2. 选择 User-Agent — 使用 * 表示所有爬虫。
3. 为要屏蔽的路径添加 Disallow 规则。
4. 在选项部分可选添加 Sitemap URL。
5. 点击复制或下载获取文件。