Generator Robots.txt
Apa yang dilakukan alat ini
Pilih user-agent (atau gunakan * untuk semua bot), tambahkan aturan Allow dan Disallow untuk jalur tertentu, dan opsional atur crawl-delay serta URL sitemap. Pratinjau langsung menampilkan konten robots.txt yang tepat. Gunakan preset untuk memulai dengan cepat, lalu sesuaikan aturan untuk struktur situs Anda.
Cara penggunaan
- Klik preset (mis. WordPress) atau mulai dengan Izinkan Semua.
- Pilih User-Agent — gunakan * untuk semua crawler.
- Tambahkan aturan Disallow untuk jalur yang ingin diblokir.
- Opsional tambahkan URL Sitemap di bagian Opsi.
- Klik Salin atau Unduh untuk mendapatkan file.
Pertanyaan yang Sering Diajukan
Apa itu robots.txt?
robots.txt adalah file teks biasa di root situs yang memberi tahu crawler halaman mana yang boleh dan tidak boleh diakses. File ini mengikuti Robots Exclusion Protocol dan menjadi file pertama yang dicek crawler. robots.txt mengatur crawl budget, tetapi bukan mekanisme keamanan: halaman tetap bisa dibuka langsung.
Apa arti Disallow: /?
Disallow: / memblokir crawler dari semua halaman situs Anda. Ini aturan paling ketat. Gunakan hanya jika Anda ingin mencegah sebuah bot meng-crawl seluruh situs, misalnya memblokir crawler pelatihan AI seperti GPTBot.
Apa bedanya Allow dan Disallow?
Disallow mencegah crawler mengakses sebuah path. Allow secara eksplisit mengizinkan akses dan bisa dipakai untuk membuat pengecualian di dalam path yang diblokir. Contoh: Disallow /admin/ ditambah Allow /admin/public/ membuat crawler hanya bisa mengakses subdirektori public.
Apa itu Crawl-delay?
Crawl-delay memberi tahu bot berapa detik harus menunggu di antara request, sehingga beban server berkurang saat di-crawl. Catatan: Google mengabaikan Crawl-delay. Gunakan Google Search Console untuk mengatur kecepatan crawl Googlebot.
Di mana file robots.txt harus diletakkan?
File robots.txt harus berada di root domain, misalnya https://example.com/robots.txt. File ini tidak boleh berada di subdirektori. Setiap subdomain butuh robots.txt sendiri.