Robots.txt Generator
यह tool क्या करता है
User-agent चुनें (या * सभी bots के लिए), specific paths के लिए Allow और Disallow rules जोड़ें, और optional crawl-delay तथा sitemap URL set करें। Right side का live preview exact robots.txt content दिखाता है। Preset से जल्दी शुरू करें, फिर अपनी site structure के अनुसार rules adjust करें।
उपयोग कैसे करें
- Preset click करें (जैसे WordPress) या सब अनुमति दें से शुरू करें।
- User-Agent select करें — सभी crawlers के लिए * use करें।
- Block करने वाले paths के लिए Disallow rules जोड़ें।
- विकल्प section में Sitemap URL add करें (optional)।
- File पाने के लिए कॉपी करें या डाउनलोड click करें।
अक्सर पूछे जाने वाले प्रश्न
robots.txt क्या है?
robots.txt आपकी वेबसाइट के root पर रखी एक plain text फ़ाइल है जो crawlers को बताती है कि वे कौन-से पेज देख सकते हैं और कौन-से नहीं। यह Robots Exclusion Protocol का पालन करती है और crawlers सबसे पहले इसे ही देखते हैं। यह crawl budget नियंत्रित करती है पर सुरक्षा का साधन नहीं है, पेज सीधे खोले जा सकते हैं।
Disallow: / का क्या मतलब है?
Disallow: / crawler को आपकी साइट के किसी भी पेज तक पहुँचने से रोकता है। यह सबसे सख्त नियम है। इसे तभी इस्तेमाल करें जब किसी bot को पूरी साइट crawl करने से रोकना हो, जैसे GPTBot जैसे AI training crawlers को ब्लॉक करना।
Allow और Disallow में क्या अंतर है?
Disallow crawler को किसी path तक पहुँचने से रोकता है। Allow साफ़ तौर पर अनुमति देता है और blocked path के अंदर अपवाद बनाने में काम आता है। उदाहरण: Disallow /admin/ के साथ Allow /admin/public/ crawlers को सिर्फ़ public subdirectory तक जाने देता है।
Crawl-delay क्या है?
Crawl-delay bots को बताता है कि requests के बीच कितने सेकंड रुकें, जिससे crawling के दौरान server load घटता है। ध्यान दें: Google Crawl-delay को अनदेखा करता है। Googlebot की crawl rate के लिए Google Search Console इस्तेमाल करें।
robots.txt फ़ाइल कहाँ रखनी चाहिए?
robots.txt फ़ाइल आपके डोमेन के root पर होनी चाहिए, जैसे https://example.com/robots.txt। यह किसी subdirectory में नहीं हो सकती। हर subdomain को अपनी robots.txt चाहिए।