यह tool क्या करता है

User-agent चुनें (या * सभी bots के लिए), specific paths के लिए Allow और Disallow rules जोड़ें, और optional crawl-delay तथा sitemap URL set करें। Right side का live preview exact robots.txt content दिखाता है। Preset से जल्दी शुरू करें, फिर अपनी site structure के अनुसार rules adjust करें।

उपयोग कैसे करें

1. Preset click करें (जैसे WordPress) या सब अनुमति दें से शुरू करें।
2. User-Agent select करें — सभी crawlers के लिए * use करें।
3. Block करने वाले paths के लिए Disallow rules जोड़ें।
4. विकल्प section में Sitemap URL add करें (optional)।
5. File पाने के लिए कॉपी करें या डाउनलोड click करें।