Tips BloggingWordPressCara Membuat Robots.txt WordPress di Google Search Console

Cara Membuat Robots.txt WordPress di Google Search Console

-

Cara Membuat Robots.txt WordPress di Google Search Console – Bila Anda memiliki blog/website berbasis WordPress self-hosted, maka membuat robots.txt dan menguploadnya ke Google Webmaster Tool merupakan salah kewajiban untuk diterapkan.

Butuh VPN gratis kualitas premium? Dengan Moove VPN, semua konten di internet bisa diakses tanpa batas!

Membuat robots.txt WordPress pada umumnya bertujuan untuk memperbolehkan rayapan robot Google dan menolak rayapan robot jahat atau spammer yang hendak menyebarkan malware atau hack blog kita.

Dengan membuat robots.txt untuk blog kita, maka kita memberi isyarat bagi robot blog kita untuk memberi akses rayapan ke robot tertentu yang kita izinkan, dan menolak akses dari robot manapun yang tidak kita beri izin akses.

Selain itu robots.txt juga berguna untuk SEO, di mana setiap artikel di blog kita akan lebih mudah dan lebih cepat terindeks di mesin pencari Google.

File robots.txt di dalam blog kita memberitahu robot perayap Google dan memberi hak akses padanya untuk mengindeks data yang diizinkan di blog kita. Mari langsung saja kita menuju cara membuat robots.txt.

Cara Membuat Blog dengan WordPress Self-Hosted: Lengkap

Cara Membuat Blog dengan WordPress Self-Hosted: Lengkap

Cara Membuat Blog WordPress Self-Hosted – Bila Anda sampai ke artikel ini itu tandanya Anda ... Selengkapnya

Cara Membuat Robot.txt WordPress di Google Search Console

Cara Pertama: Menggunakan Plugin KB Robots.txt

Cara membuat robots.txt terbilang sangat gampang.

Anda tinggal menginstall plugin Robots.txt Editor di menu Plugins => Add New => dan Search dengan nama tersebut. Install dan aktifkan plugin tersebut.

Setelah selesai diaktifkan, maka langsung menuju menu Setting => Robots.txt Editor. Setelah itu Anda diminta untuk memasukkan penggalan kode akses kepada robot yang diizinkan untuk mengakses situs Anda, yaitu robot Google. Masukkan kode berikut ini:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: [isikan dengan URL sitemap Anda, misalnya sitemap.xml atau sitemap_index.xml]

Cara Kedua: Langsung Lewat Plugin Yoast SEO

Yoast SEO memang menyediakan fitur yang sangat lengkap di paket gratisnya. Dengan plugin ini, Anda bisa membuat robots.txt dengan mudah dan bisa langsung terpasang di blog Anda.

Caranya, silakan masuk ke Dashboard => SEO => Tools => Files editor. Di bagian robots.txt, silakan copy paste kode yang telah dibagikan di atas atau pun kode robots.txt lain yang Anda miliki di text area yang telah disediakan. Jangan lupa klik tombol Save.

Perhatikan bagian sitemap. Jika Anda membuat XML Sitemap blog Anda dengan bantuan plugin WordPress SEO by Yoast, maka ganti alamat sitemap Anda menjadi sitemap_index.xml.

Lengkap: Cara Setting Plugin WordPress SEO by Yoast

Lengkap: Cara Setting Plugin WordPress SEO by Yoast

Cara Setting Plugin WordPress SEO by Yoast – Dari sekian banyak metode untuk mengoptimisasi ... Selengkapnya

Cara Ketiga: Langsung Lewat Plugin All in One SEO Pack

Bila Anda menggunakan plugin All in One SEO Pack, caranya juga mirip seperti sebelumnya. Anda hanya perlu login ke Dashboard => Feature Manager kemudian aktifkan fitur Robots.txt.

Setelah itu masukkan kode robots.txt Anda dan simpan perubahannya.

Lengkap: Cara Setting All in One SEO Pack

Lengkap: Cara Setting All in One SEO Pack

Lengkap: Cara Setting All in One SEO Pack – Jika Anda mencari plugin SEO terbaik untuk ... Selengkapnya

Cara Keempat: Buat Secara Manual dan Upload Dengan FTP FileZilla

Saya lebih suka cara manual seperti ini. Yang dibutuhkan hanyalah FTP FileZilla yang memang selalu saya gunakan. Baca panduan berikut ini:

Cara Menggunakan FileZilla: File Transfer Protocol (FTP)

Cara Menggunakan FileZilla: File Transfer Protocol (FTP)

Cara Menggunakan FileZilla: File Transfer Protocol (FTP) – Dunia pengembangan web sudah ... Selengkapnya

Setelah itu buka Notepad di komputer Anda (atau aplikasi teks editor sejenis), dan copy paste kode robots.txt ke dalamnya.

Setelah itu simpan dengan nama robots.txt kemudian upload ke root folder blog Anda menggunakan FileZilla. Selesai.

Itulah cara membuat robots.txt yang sangat berguna untuk keperluan SEO dan mengatasi kesalahan perayapan serta mencegah akses dari robot lain yang hendak menghancurkan atau pun mengganggu keamanan blog kita.

Semoga cara membuat robots.txt ini berguna untuk kepentingan pembangunan blog Anda yang berbasis WordPress.


Walter Pinem
Walter Pinemhttps://walterpinem.me/
Traveler, Teknisi SEO, dan Programmer WordPress. Aktif di Seni Berpikir, A Rookie Traveler, GEN20, Payung Merah, dan De Quixote.

Bacaan SelanjutnyaPENTING
Topik Menarik Lain

66 KOMENTAR

  1. Setiap kali saya cek website saya di SEO checker,pasti ada beberapa layanan tersebut memberitahukan bahwa robots.txt missing pada website saya.Jika hal demikian apakah berpengaruh terhadap SEO rank situs.

    • robot.txt hanya berguna untuk memberi/menolak akses dari robot mesin pencari atau robot crawler dari website lain. robot.txt memang sangat penting dan juga menjadi bagian dari SEO krn crawler dr Google akan menerima izin akses dari robot.txt Anda untuk mengindeks artikel/halaman untuk diindeks di mesin pencari

  2. Terima kasih Atas Informasinya sangat bermanfaat.

  3. wah agan memang jujur kasih tau sitemapnya yoast…berarti sitemap.xml kita pengaruh boleh dipake atau tidak..kalo pakai plugin dan didaftarin di webmaster itu ada 2..

  4. Makasih Om langsung dipasang diweb ane.. semoga bisa

  5. salam kenal dan salam silaturahim
    terima kasih gan tipsnya

  6. mas infonya sangat membantu,saya mau tanya robot.txt q sudah taksetting dengn benar tp trs muncul pesan Googlebot can’t access your site,,,
    lalu plugin KB.Robot.txtjg sdh deactive pesan Googlebot can’t access your site msh muncul jg,,,kira2 selain robot.txt,,,cara resolve pesan itu gmn y mas,,,thanks

    • pesan tersebut muncul karena Anda tidak memberikan hak akses kepada Googlebot untuk meng-crawl bagian tertentu dalam website Anda. Coba periksa kembali Robot.txt website Anda, dan coba temukan bagian mana yang dilarang oleh robot blog Anda untuk diakses.

  7. Sewa Mobil Semarang | rental mobil semarang

    iyaa gann.. info yg bagus

  8. terma kasih bro atas informasinya..

  9. bro saya mendapat kata-kata ini di dasboard webmastertools Severe health issues are found on your site. – Check site health ! apakah dengan menggunakan plugin di atas bisa mengatasi?

  10. Produksi Mesin Usaha Kecil Menengah

    sdh dicoba mas bro.. trims sangat..

  11. Distributor Natural Nusantara

    Trims’ bro … nice share

  12. saya sudah terapin hasilnya sangat membantu

  13. Jual Jersey Grade Original

    Thanks bos… di webmaster saya malah ada pesan tentang kesalahan robot.txt saya coba perbaiki sekarang.

  14. Thanks ya sob, artikelnya langsung saya praktekkan buat blog saya yang baru en unyu-unyu

  15. ketika saya cek robot teksnya gan, untuk blog saya kok masih bawaannya drupal, memang sih sebelumnya saya gunakan drupal terus migrasi ke wordrpress, cara mengatasinya bagaimana ya bang,,,,makasih sebelumnya

  16. Alhamdulillah, terimakasih banyak infonya. Ini yang saya cari artikelnya.

  17. saya coba pake wp robots tapi nggk bisa sob, ane coba pake KB robots semoga berhasil, thanks

  18. sedang saya test gan…. kalo udah install plugin, itu yang di webmaster gimana urusannya? ada di sesuaikan

  19. gan .. klo di google webmaster tools ada keterangan seperti ini "Google tidak dapat merayapi situs Anda karena kami tidak dapat mengakses file robots.txt situs Anda." padahal saya sudah membuat robot.txt nya.. penyelesaiannya gimana ya?

    • coba periksa kembali settingnya, dan pastikan Anda memasukkan sitemap xml blog Anda dengan alamat yang benar. kemudian tes terlebih dahulu di google webmaster

  20. gan..salam kenal sebelumnya..oh ya gan…saya mau tanya..kenapa website saya ..setiap kali saya ketik url saya di google selalu ada tulisan A description for this result is not available because of this site’s robots.txt – learn more.,,mhon dibalas..terima kasih

    • kayanya ada masalah di robots.txt gan. coba delete atau perbaiki baris code yang ada disallow, atau delete aja file robots.txt di dalam root directory website agan, habis itu bikin file baru pake notepad kasih nama robots.txt, terus isi code baru di dalamnya, terus upload ulang ke root directory website agan.

  21. Terimakasih gan, artikelnya sangat membantu 😀
    Bisa langsung ane terapin ke wordpress ane

  22. artikel nya sangat membantu,cuma ane agak bing juga ko klo web master sering dapet warning ya,itu masalah g ya gan?

  23. Great post! I am actually getting ready to across this information which i found very interesting to read.

  24. mantab sekali ulasan nya mas, sangat lengkap, dan jadi mengerti nih 🙂

  25. Makaish gan informasinya… sangat berguna dan bermanfaat sekali. jadi nambah ilmu tentang SEO

  26. salam kenal gan, mau nanya nih kl cara yg agan sebutin itu cm bisa utk yg self hosting ya? kalau u yg masih subdomain .wordpress.com ga bisa ya? maaf ya gan, soalnya bener" masih buta nih

    • Artikel ini untuk self-hosting gan, tapi untuk wordpress.com bisa juga langsung dari Google Webmaster Tool di bagian robots txt. Submit langsung ke situ gan.

  27. terimakasih gan infonya.ini akan saya coba terapkan di blog saya.

  28. Sangat membantu mas.. tapi say pengen tanya, kalo robots tambahan dibawah ini buat apa ya mas, saya liat mas pake tambahan ini
    makasih

    disallow: /*?*
    Disallow: *?replytocom
    Allow: .js
    Allow: .css

    • disallow: /*?* => agar URL apapun dengan setelah tanda "?" tidak diindeks
      Disallow: *?replytocom => agar URL komentar ngga terindeks
      Allow: .js => agar Google bisa nge-render file .js (javascript) yang ada di template biar bisa ditampilkan dengan benar di mobile
      Allow: .css => sama seperti yang sebelumnya

  29. Makaish gan informasinya… sangat berguna dan bermanfaat sekali. jadi nambah ilmu tentang SEO

  30. terimakasih mas, sangat membantu sekali.. ini otw pasang robot.txt di wordpress

  31. mau tanya mas. kalau pakai robot.txt seperti blogger boleh gk. atau harus pke yang punyanya mas ya.?

    makasih.

  32. Makasih Mas sih atas infonya, dari kemarin saya nyari bagaimana caranya, tapi banyak yang kurang jelas penjelasannya.

  33. Informasinya sangat membantu sekali. Terima kasih buat postingnya

  34. sangat membantu sekali..
    ane dah muter2 dari tadi
    heheheh

  35. Kalo untuk wordpress yang berbasis ecommerce dengan hosting berbayar ga papa gan pake yang ini cara setting robot.txt nya ?

  36. terimakasi informasi nya mas…,, sangat membantu artikel tentang robot.txt

  37. ternyata ada cara mudah buat setting robots.txt nya.
    pikir saya bisa langsung edit lewat file manager di cpanel, ternyata saya cari gak ada file yang namanya robots.txt
    alhamdulillah nemu cara ini, blog saya jadi sulit indexnya gara" robots.txt..
    terimakasih mas.. 🙂

  38. makasih gan informasinya.
    sangat berguna dan bermamffaat

  39. Trima kasih,

    Sangat membantu sekali postingan-nya. Next buat lagi yang bagus

  40. Keren gan.. Gw yang ga jdi thu. Lumyan ini wawasan

  41. Terimakasih gan ini buat nambah wawasan.. Keren, nanti gua coba akh

  42. Saya mengalami masalah url yang diblock di webmaster saat flecth..bagaimana mengatasinya..mohon bantuannya

  43. Mau tanya kalo saya mau block gambar biar gak ke index google :

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content
    User-agent: Mediapartners-Google
    Allow: /
    User-agent: Adsbot-Google
    Allow: /
    User-agent: Googlebot-Image
    Allow: /
    User-agent: Googlebot-Mobile
    Allow: /
    Sitemap:

    User-agent: Googlebot-Image
    Disallow: /
    Di ganti ke disallow itu bisa?

    Thanks

  44. Saya lihat blog ini kok ngak pake Robot.txt gan,
    apasannya kenapa ?

  45. Apa pengaruh gan robot.txt ke website? kira2 apa pengaruhnya jika salah memasang robot.txt?

  46. trimakasih mas admin, apa cara ini bisa mengatasi cakupan index di webmaster…?

  47. bos! saya sudah cari KB robot.txt dimenu plugin tapi tidak ada? adakah kira2 pilihan yang lain?

  48. saya mencoba Robots.txt yang agan sarankan lalu saya pasangkan di robots.txt google webmaster tools saya. Dan besoknya muncul blocked resources di bagian google index dan saya muncul link wordpress saya. Setelah diklik, terdapat tanda (-) dan garis merah di bagian :
    Disallow: /wp-includes
    mohon pencerahannya gan.. trims

  49. alhamdulilah Makasih banyak mas nih informasi nya saya bisa kebantu mas

  50. Terima kasih Om, informasinya sangat bermanfaat
    Om boleh tahu ini pakai theme apa ya namanya?

TINGGALKAN KOMENTAR

Silakan masukkan komentar anda!
Silakan masukkan nama Anda di sini

Situs ini menggunakan Akismet untuk mengurangi spam. Pelajari bagaimana data komentar Anda diproses.