Cara Membuat Robot.txt WordPress di Google Webmaster – Bila Anda memiliki blog/website berbasis WordPress self-hosted, maka membuat robot.txt dan menguploadnya ke Google Webmaster Tool merupakan salah kewajiban untuk diterapkan. Membuat robot.txt wordpress pada umumnya bertujuan untuk memperbolehkan rayapan robot Google dan menolak rayapan robot jahat atau spammer yang hendak menyebarkan malware atau hack blog kita. Dengan membuat robot.txt untuk blog kita, maka kita memberi isyarat bagi robot blog kita untuk memberi akses rayapan ke robot tertentu yang kita izinkan, dan menolak akses dari robot manapun yang tidak kita beri izin akses. Selain itu robot.txt juga berguna untuk SEO, di mana setiap artikel di blog kita akan lebih mudah dan lebih cepat terindeks di mesin pencari Google.

File robot.txt di dalam blog kita memberitahu robot perayap Google dan memberi hak akses padanya untuk mengindeks data yang diizinkan di blog kita. Mari langsung saja kita menuju cara membuat robot.txt.

Cara membuat Robot.txt

Cara membuat robot.txt terbilang sangat gampang. Anda tinggal menginstall plugin KB Robot.txt di menu Plugins => Add New => dan Search dengan nama tersebut. Install dan aktifkan plugin tersebut.

Setelah selesai diaktifkan, maka langsung menuju menu Setting => KB Robot.txt. Setelah itu Anda diminta untuk memasukkan penggalan kode akses kepada robot yang diizinkan untuk mengakses situs Anda, yaitu robot Google. Masukkan kode berikut ini:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap:

Perhatikan bagian sitemap. Jika Anda membuat XML Sitemap blog Anda dengan bantuan plugin WordPress SEO by Yoastmaka ganti alamat sitemap Anda menjadi sitemap_index.xml.

Itulah cara membuat robot.txt yang sangat berguna untuk keperluan SEO dan mengatasi kesalahan perayapan serta mencegah akses dari robot lain yang hendak menghancurkan atau pun mengganggu keamanan blog kita. Semoga cara membuat robot.txt ini berguna untuk kepentingan pembangunan blog Anda yang berbasis wordpress.

66 KOMENTAR

  1. Setiap kali saya cek website saya di SEO checker,pasti ada beberapa layanan tersebut memberitahukan bahwa robots.txt missing pada website saya.Jika hal demikian apakah berpengaruh terhadap SEO rank situs.

    • robot.txt hanya berguna untuk memberi/menolak akses dari robot mesin pencari atau robot crawler dari website lain. robot.txt memang sangat penting dan juga menjadi bagian dari SEO krn crawler dr Google akan menerima izin akses dari robot.txt Anda untuk mengindeks artikel/halaman untuk diindeks di mesin pencari

  2. Terima kasih Atas Informasinya sangat bermanfaat.

  3. wah agan memang jujur kasih tau sitemapnya yoast…berarti sitemap.xml kita pengaruh boleh dipake atau tidak..kalo pakai plugin dan didaftarin di webmaster itu ada 2..

  4. Makasih Om langsung dipasang diweb ane.. semoga bisa

  5. salam kenal dan salam silaturahim
    terima kasih gan tipsnya

  6. mas infonya sangat membantu,saya mau tanya robot.txt q sudah taksetting dengn benar tp trs muncul pesan Googlebot can’t access your site,,,
    lalu plugin KB.Robot.txtjg sdh deactive pesan Googlebot can’t access your site msh muncul jg,,,kira2 selain robot.txt,,,cara resolve pesan itu gmn y mas,,,thanks

    • pesan tersebut muncul karena Anda tidak memberikan hak akses kepada Googlebot untuk meng-crawl bagian tertentu dalam website Anda. Coba periksa kembali Robot.txt website Anda, dan coba temukan bagian mana yang dilarang oleh robot blog Anda untuk diakses.

  7. terma kasih bro atas informasinya..

  8. bro saya mendapat kata-kata ini di dasboard webmastertools Severe health issues are found on your site. – Check site health ! apakah dengan menggunakan plugin di atas bisa mengatasi?

  9. Produksi Mesin Usaha Kecil Menengah

    sdh dicoba mas bro.. trims sangat..

  10. Distributor Natural Nusantara

    Trims’ bro … nice share

  11. private seo jakarta

    saya sudah terapin hasilnya sangat membantu

  12. Jual Jersey Grade Original

    Thanks bos… di webmaster saya malah ada pesan tentang kesalahan robot.txt saya coba perbaiki sekarang.

  13. hasil capres 2014

    Thanks ya sob, artikelnya langsung saya praktekkan buat blog saya yang baru en unyu-unyu

  14. ketika saya cek robot teksnya gan, untuk blog saya kok masih bawaannya drupal, memang sih sebelumnya saya gunakan drupal terus migrasi ke wordrpress, cara mengatasinya bagaimana ya bang,,,,makasih sebelumnya

  15. Alhamdulillah, terimakasih banyak infonya. Ini yang saya cari artikelnya.

  16. saya coba pake wp robots tapi nggk bisa sob, ane coba pake KB robots semoga berhasil, thanks

  17. sedang saya test gan…. kalo udah install plugin, itu yang di webmaster gimana urusannya? ada di sesuaikan

  18. gan .. klo di google webmaster tools ada keterangan seperti ini "Google tidak dapat merayapi situs Anda karena kami tidak dapat mengakses file robots.txt situs Anda." padahal saya sudah membuat robot.txt nya.. penyelesaiannya gimana ya?

    • coba periksa kembali settingnya, dan pastikan Anda memasukkan sitemap xml blog Anda dengan alamat yang benar. kemudian tes terlebih dahulu di google webmaster

  19. gan..salam kenal sebelumnya..oh ya gan…saya mau tanya..kenapa website saya ..setiap kali saya ketik url saya di google selalu ada tulisan A description for this result is not available because of this site’s robots.txt – learn more.,,mhon dibalas..terima kasih

    • kayanya ada masalah di robots.txt gan. coba delete atau perbaiki baris code yang ada disallow, atau delete aja file robots.txt di dalam root directory website agan, habis itu bikin file baru pake notepad kasih nama robots.txt, terus isi code baru di dalamnya, terus upload ulang ke root directory website agan.

  20. Terimakasih gan, artikelnya sangat membantu 😀
    Bisa langsung ane terapin ke wordpress ane

  21. artikel nya sangat membantu,cuma ane agak bing juga ko klo web master sering dapet warning ya,itu masalah g ya gan?

  22. Great post! I am actually getting ready to across this information which i found very interesting to read.

  23. mantab sekali ulasan nya mas, sangat lengkap, dan jadi mengerti nih 🙂

  24. Makaish gan informasinya… sangat berguna dan bermanfaat sekali. jadi nambah ilmu tentang SEO

  25. salam kenal gan, mau nanya nih kl cara yg agan sebutin itu cm bisa utk yg self hosting ya? kalau u yg masih subdomain .wordpress.com ga bisa ya? maaf ya gan, soalnya bener" masih buta nih

    • Artikel ini untuk self-hosting gan, tapi untuk wordpress.com bisa juga langsung dari Google Webmaster Tool di bagian robots txt. Submit langsung ke situ gan.

  26. terimakasih gan infonya.ini akan saya coba terapkan di blog saya.

  27. Sangat membantu mas.. tapi say pengen tanya, kalo robots tambahan dibawah ini buat apa ya mas, saya liat mas pake tambahan ini
    makasih

    disallow: /*?*
    Disallow: *?replytocom
    Allow: .js
    Allow: .css

    • disallow: /*?* => agar URL apapun dengan setelah tanda "?" tidak diindeks
      Disallow: *?replytocom => agar URL komentar ngga terindeks
      Allow: .js => agar Google bisa nge-render file .js (javascript) yang ada di template biar bisa ditampilkan dengan benar di mobile
      Allow: .css => sama seperti yang sebelumnya

  28. Makaish gan informasinya… sangat berguna dan bermanfaat sekali. jadi nambah ilmu tentang SEO

  29. terimakasih mas, sangat membantu sekali.. ini otw pasang robot.txt di wordpress

  30. mau tanya mas. kalau pakai robot.txt seperti blogger boleh gk. atau harus pke yang punyanya mas ya.?

    makasih.

  31. ANDIKA PRATAMA PUTRA

    Makasih Mas sih atas infonya, dari kemarin saya nyari bagaimana caranya, tapi banyak yang kurang jelas penjelasannya.

  32. Informasinya sangat membantu sekali. Terima kasih buat postingnya

  33. sangat membantu sekali..
    ane dah muter2 dari tadi
    heheheh

  34. Kalo untuk wordpress yang berbasis ecommerce dengan hosting berbayar ga papa gan pake yang ini cara setting robot.txt nya ?

  35. terimakasi informasi nya mas…,, sangat membantu artikel tentang robot.txt

  36. ternyata ada cara mudah buat setting robots.txt nya.
    pikir saya bisa langsung edit lewat file manager di cpanel, ternyata saya cari gak ada file yang namanya robots.txt
    alhamdulillah nemu cara ini, blog saya jadi sulit indexnya gara" robots.txt..
    terimakasih mas.. 🙂

  37. makasih gan informasinya.
    sangat berguna dan bermamffaat

  38. Trima kasih,

    Sangat membantu sekali postingan-nya. Next buat lagi yang bagus

  39. Keren gan.. Gw yang ga jdi thu. Lumyan ini wawasan

  40. Terimakasih gan ini buat nambah wawasan.. Keren, nanti gua coba akh

  41. Saya mengalami masalah url yang diblock di webmaster saat flecth..bagaimana mengatasinya..mohon bantuannya

  42. Mau tanya kalo saya mau block gambar biar gak ke index google :

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content
    User-agent: Mediapartners-Google
    Allow: /
    User-agent: Adsbot-Google
    Allow: /
    User-agent: Googlebot-Image
    Allow: /
    User-agent: Googlebot-Mobile
    Allow: /
    Sitemap:

    User-agent: Googlebot-Image
    Disallow: /
    Di ganti ke disallow itu bisa?

    Thanks

    • bisa, asal user-agent dari crawler Google Image sudah benar, kode di atas sudah benar.

  43. Saya lihat blog ini kok ngak pake Robot.txt gan,
    apasannya kenapa ?

  44. Apa pengaruh gan robot.txt ke website? kira2 apa pengaruhnya jika salah memasang robot.txt?

  45. trimakasih mas admin, apa cara ini bisa mengatasi cakupan index di webmaster…?

  46. bos! saya sudah cari KB robot.txt dimenu plugin tapi tidak ada? adakah kira2 pilihan yang lain?

  47. saya mencoba Robots.txt yang agan sarankan lalu saya pasangkan di robots.txt google webmaster tools saya. Dan besoknya muncul blocked resources di bagian google index dan saya muncul link wordpress saya. Setelah diklik, terdapat tanda (-) dan garis merah di bagian :
    Disallow: /wp-includes
    mohon pencerahannya gan.. trims

  48. Muhammad Ramdhani

    alhamdulilah Makasih banyak mas nih informasi nya saya bisa kebantu mas

  49. Terima kasih Om, informasinya sangat bermanfaat
    Om boleh tahu ini pakai theme apa ya namanya?

TINGGALKAN KOMENTAR

Please enter your comment!
Please enter your name here

This site uses Akismet to reduce spam. Learn how your comment data is processed.