Cara mengedit Robots.txt di WordPress

Robots.txt,  juga dikenal sebagai protokol pengecualian robot atau protokol robots.txt, adalah sebuah ketentuan untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web. Robot ini berguna untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter.

Dalam suatu Website, keberadaan Robots.txt sangatlah penting karena dapat menyaring Halaman yang harus di Indeks oleh Search Engine dan sama juga jika anda salah mengisi Robots.txt sesuai dengan Website anda maka Website anda bisa tidak di Indeks Search Engine. Letak Robots.txt disuatu website sangatlah mudah ditemukan yaitu di www.namadomain.com/robots.txt .

Karena WordPress adalah Blog CMS Tool yang professional dan tidak ada kerja sama dengan pihak Webmasters seperti Google maka di WordPress anda tidak bisa mengganti atau mengubah Robots.txt, tetapi hanya WordPress yang biasa mengedit Robots.txt tersebut tanpa pengguna yang memrintah. Jadi kali ini saya akan mengajarkan anda Cara mengedit Robots.txt di WordPress, jadi silahkan dilihat caranya dibawah ini.

Contoh Robots.txt :

Cara mengedit Robots.txt di WordPress :

1. Buka Notepad atau Aplikasi kata lainnya yang menghasilkan Dokumen dalam Format .txt

2. Tuliskan kata-kata dibawah ini kedalam Notepad :

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/

Diatas ini adalah Robots.txt asli milik Blog CMS WordPress yang ada disetiap Website berbasis WordPress CMS. Anda bisa juga menambahkan Link atau halaman Website anda dengan cara menambahkan Simbol / yang di Ikuti link website, contoh /dos.html .

3. Simpan Dokumen tersebut dengan nama Robots, dan Format Save adalah .txt .(Untuk di Windows yang menggunakan NotePad, tulis Dokumen tersebut dengan nama Robots dengan format .txt).

4. Upload File tersebut kedalam Root website anda, biasanya letakkanya di public_html atau lokasi waktu anda mengupload File Vertifikasi dari Google Webmasters.

5. Tunggu beberapa menit, lalu cobalah untuk membuka file tersebut dengan cara menambahkan kode ini setelah nama domain anda. Contoh www.namadomain.com/robots.txt .  Jika tidak bisa, coba buka File tersebut langsung dari Control Panel Server anda setelah itu coba lagi untuk membuka File tersebut diluar Control Panel.

Dan lihat, Robots.txt di Website anda akan berubah. Dan ingat, ketika anda mengisi Robots Website anda, anda harus tepat dalam penulisan dan pemilihan Link tersebut karena jika terjadi kesalahan otomatis Website anda tidak akan di Indeks Search Engine sampai anda mengubah Robots.txt tersebut dan dapat mengurangi nilai SEO di Website anda.

 Itulah Cara mengedit Robots.txt di WordPress. Jika ada pertanyaan atau masalah mengenai Post saya di atas silahkan Komentar atau Hubungi kami di Contact us. Jangan lupa untuk Follow Twitter blog saya atau Like us Facebook untuk mendapatkan Posts blog ini yang terbaru dan juga Konsultasi Pertanyaan dengan cepat. Salam.