Cara Membuat Robot.txt WordPress di Google Webmaster – Bila Anda memiliki blog/website berbasis WordPress self-hosted, maka membuat robot.txt dan menguploadnya ke Google Webmaster Tool merupakan salah kewajiban untuk diterapkan. Membuat robot.txt wordpress pada umumnya bertujuan untuk memperbolehkan rayapan robot Google dan menolak rayapan robot jahat atau spammer yang hendak menyebarkan malware atau hack blog kita. Dengan membuat robot.txt untuk blog kita, maka kita memberi isyarat bagi robot blog kita untuk memberi akses rayapan ke robot tertentu yang kita izinkan, dan menolak akses dari robot manapun yang tidak kita beri izin akses. Selain itu robot.txt juga berguna untuk SEO, di mana setiap artikel di blog kita akan lebih mudah dan lebih cepat terindeks di mesin pencari Google.

File robot.txt di dalam blog kita memberitahu robot perayap Google dan memberi hak akses padanya untuk mengindeks data yang diizinkan di blog kita. Mari langsung saja kita menuju cara membuat robot.txt.

Cara membuat Robot.txt

BACA JUGA:  Cara Menginstall Wordpress Langsung di Hosting

Cara membuat robot.txt terbilang sangat gampang. Anda tinggal menginstall plugin KB Robot.txt di menu Plugins => Add New => dan Search dengan nama tersebut. Install dan aktifkan plugin tersebut.

Setelah selesai diaktifkan, maka langsung menuju menu Setting => KB Robot.txt. Setelah itu Anda diminta untuk memasukkan penggalan kode akses kepada robot yang diizinkan untuk mengakses situs Anda, yaitu robot Google. Masukkan kode berikut ini:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://www.situsanda.com/sitemap.xml

Perhatikan bagian sitemap. Jika Anda membuat XML Sitemap blog Anda dengan bantuan plugin WordPress SEO by Yoastmaka ganti alamat sitemap Anda menjadi http://www.situsanda.com/sitemap_index.xml.

Itulah cara membuat robot.txt yang sangat berguna untuk keperluan SEO dan mengatasi kesalahan perayapan serta mencegah akses dari robot lain yang hendak menghancurkan atau pun mengganggu keamanan blog kita. Semoga cara membuat robot.txt ini berguna untuk kepentingan pembangunan blog Anda yang berbasis wordpress.

BACA JUGA:  5 Cara Sederhana Mengoptimalkan WordPress untuk SEO
SHARE
Artikel SebelumnyaCara Memasang Favicon di Blog
Artikel SelanjutnyaCara Melaporkan Tulisan Copy-Paste ke DMCA
Seni Berpikir membahas tentang ilmu hubungan internasional yang berisi hubungan internasional sebagai forum bagi setiap negara dalam memenuhi kepentingan nasionalnya. Seni Berpikir juga berisi hal-hal lain seputar Wordpress dan Tips Blogging lainnya. Mohon sertakan sumber jika Anda meng-copy-paste tulisan dari dalam situs ini. Regards,

45 KOMENTAR

  1. Setiap kali saya cek website saya di SEO checker,pasti ada beberapa layanan tersebut memberitahukan bahwa robots.txt missing pada website saya.Jika hal demikian apakah berpengaruh terhadap SEO rank situs.

    • robot.txt hanya berguna untuk memberi/menolak akses dari robot mesin pencari atau robot crawler dari website lain. robot.txt memang sangat penting dan juga menjadi bagian dari SEO krn crawler dr Google akan menerima izin akses dari robot.txt Anda untuk mengindeks artikel/halaman untuk diindeks di mesin pencari

  2. wah agan memang jujur kasih tau sitemapnya yoast…berarti sitemap.xml kita pengaruh boleh dipake atau tidak..kalo pakai plugin dan didaftarin di webmaster itu ada 2..

  3. mas infonya sangat membantu,saya mau tanya robot.txt q sudah taksetting dengn benar tp trs muncul pesan Googlebot can’t access your site,,,
    lalu plugin KB.Robot.txtjg sdh deactive pesan Googlebot can’t access your site msh muncul jg,,,kira2 selain robot.txt,,,cara resolve pesan itu gmn y mas,,,thanks

    • pesan tersebut muncul karena Anda tidak memberikan hak akses kepada Googlebot untuk meng-crawl bagian tertentu dalam website Anda. Coba periksa kembali Robot.txt website Anda, dan coba temukan bagian mana yang dilarang oleh robot blog Anda untuk diakses.

  4. Thanks bos… di webmaster saya malah ada pesan tentang kesalahan robot.txt saya coba perbaiki sekarang.

  5. ketika saya cek robot teksnya gan, untuk blog saya kok masih bawaannya drupal, memang sih sebelumnya saya gunakan drupal terus migrasi ke wordrpress, cara mengatasinya bagaimana ya bang,,,,makasih sebelumnya

  6. gan .. klo di google webmaster tools ada keterangan seperti ini "Google tidak dapat merayapi situs Anda karena kami tidak dapat mengakses file robots.txt situs Anda." padahal saya sudah membuat robot.txt nya.. penyelesaiannya gimana ya?

  7. gan..salam kenal sebelumnya..oh ya gan…saya mau tanya..kenapa website saya ..setiap kali saya ketik url saya di google selalu ada tulisan A description for this result is not available because of this site’s robots.txt – learn more.,,mhon dibalas..terima kasih

    • kayanya ada masalah di robots.txt gan. coba delete atau perbaiki baris code yang ada disallow, atau delete aja file robots.txt di dalam root directory website agan, habis itu bikin file baru pake notepad kasih nama robots.txt, terus isi code baru di dalamnya, terus upload ulang ke root directory website agan.

  8. salam kenal gan, mau nanya nih kl cara yg agan sebutin itu cm bisa utk yg self hosting ya? kalau u yg masih subdomain .wordpress.com ga bisa ya? maaf ya gan, soalnya bener" masih buta nih

  9. Sangat membantu mas.. tapi say pengen tanya, kalo robots tambahan dibawah ini buat apa ya mas, saya liat mas pake tambahan ini
    makasih

    disallow: /*?*
    Disallow: *?replytocom
    Allow: .js
    Allow: .css

    • disallow: /*?* => agar URL apapun dengan setelah tanda "?" tidak diindeks
      Disallow: *?replytocom => agar URL komentar ngga terindeks
      Allow: .js => agar Google bisa nge-render file .js (javascript) yang ada di template biar bisa ditampilkan dengan benar di mobile
      Allow: .css => sama seperti yang sebelumnya

  10. Makasih Mas sih atas infonya, dari kemarin saya nyari bagaimana caranya, tapi banyak yang kurang jelas penjelasannya.

TINGGALKAN KOMENTAR