Generator Robots.txt

Apa yang dilakukan alat ini

Pilih user-agent (atau gunakan * untuk semua bot), tambahkan aturan Allow dan Disallow untuk jalur tertentu, dan opsional atur crawl-delay serta URL sitemap. Pratinjau langsung menampilkan konten robots.txt yang tepat. Gunakan preset untuk memulai dengan cepat, lalu sesuaikan aturan untuk struktur situs Anda.

Cara penggunaan

Klik preset (mis. WordPress) atau mulai dengan Izinkan Semua.
Pilih User-Agent — gunakan * untuk semua crawler.
Tambahkan aturan Disallow untuk jalur yang ingin diblokir.
Opsional tambahkan URL Sitemap di bagian Opsi.
Klik Salin atau Unduh untuk mendapatkan file.