Toolipedia Sematkan
ID
← Semua alat teks

Penguji robots.txt

Ambil atau tempel robots.txt dan uji apakah Googlebot dan crawler lain boleh mengunjungi suatu URL.

  • Gratis
  • Tanpa daftar
  • Bisa di perangkat apa pun

Tentang Penguji robots.txt

Ambil robots.txt sebuah situs atau tempel milik Anda sendiri, lalu uji apakah crawler seperti Googlebot boleh mengakses URL tertentu. Aturan dicocokkan berdasarkan user-agent dan jalur yang cocok terpanjang menang. Ingat bahwa robots.txt memblokir perayapan, bukan pengindeksan, jadi URL yang diblokir masih bisa muncul di pencarian.

Cara menggunakan Penguji robots.txt

  1. Masukkan alamat situs untuk mengambil robots.txt-nya, atau tempel isi filenya.
  2. Ketik path URL yang ingin Anda uji.
  3. Pilih crawler dan lihat apakah diizinkan atau diblokir.

Mengapa menggunakan alat ini?

Dikenal juga sebagai

Pertanyaan umum

Apakah robots.txt menyembunyikan halaman dari Google?

Tidak sepenuhnya. Ini menghentikan perayapan, tetapi URL yang diblokir masih bisa diindeks jika ditautkan dari tempat lain. Untuk menjauhkan halaman dari hasil pencarian, gunakan tag noindex atau perlindungan kata sandi.

Apa arti Disallow dengan hanya garis miring?

Disallow: / memberi tahu crawler untuk tidak mengunjungi halaman mana pun di situs. Sering tertinggal karena kesalahan setelah peluncuran staging, jadi uji sebelum go live.

Aturan mana yang menang jika Allow dan Disallow sama-sama cocok?

Mesin pencari seperti Google mengikuti aturan yang paling spesifik, yang biasanya path cocok terpanjang. Uji URL yang tepat di sini untuk melihat hasil bagi file Anda.

Apakah Penguji robots.txt gratis?

Ya. Penguji robots.txt di Toolipedia gratis digunakan, tanpa daftar dan tanpa watermark.

Apakah aman digunakan?

Ya. Semuanya dihitung di browser Anda, dan tidak ada yang Anda masukkan yang dikirim ke server kami.

Apakah bisa di ponsel saya?

Ya. Alat ini bisa digunakan di browser modern mana pun di Android dan iPhone, juga di tablet dan komputer. Tidak perlu instal apa pun.

Apakah saya perlu akun?

Tidak. Cukup buka halaman dan gunakan alatnya. Tanpa daftar dan tanpa email.

Bisakah saya menaruh Penguji robots.txt di situs web saya sendiri?

Ya. Gunakan tombol "Sematkan di situs Anda" di bawah alat untuk menyalin potongan kode singkat dan menempelkannya ke halaman Anda. Gratis, tanpa akun, dan alat tetap berfungsi di dalam halaman Anda.

Alat terkait