Cara Membuat Robots.txt WordPress di Google Search Console – Bila Anda memiliki blog/website berbasis WordPress self-hosted, maka membuat robots.txt dan menguploadnya ke Google Webmaster Tool merupakan salah kewajiban untuk diterapkan.
Membuat robots.txt WordPress pada umumnya bertujuan untuk memperbolehkan rayapan robot Google dan menolak rayapan robot jahat atau spammer yang hendak menyebarkan malware atau hack blog kita.
Dengan membuat robots.txt untuk blog kita, maka kita memberi isyarat bagi robot blog kita untuk memberi akses rayapan ke robot tertentu yang kita izinkan, dan menolak akses dari robot manapun yang tidak kita beri izin akses.
Selain itu robots.txt juga berguna untuk SEO, di mana setiap artikel di blog kita akan lebih mudah dan lebih cepat terindeks di mesin pencari Google.
File robots.txt di dalam blog kita memberitahu robot perayap Google dan memberi hak akses padanya untuk mengindeks data yang diizinkan di blog kita. Mari langsung saja kita menuju cara membuat robots.txt.
Cara Membuat Blog dengan WordPress Self-Hosted: Lengkap
Cara Membuat Blog WordPress Self-Hosted –Â Bila Anda sampai ke artikel ini itu tandanya Anda ... Selengkapnya
Cara Membuat Robot.txt WordPress di Google Search Console
Cara Pertama: Menggunakan Plugin KB Robots.txt
Cara membuat robots.txt terbilang sangat gampang.
Anda tinggal menginstall plugin Robots.txt Editor di menu Plugins => Add New => dan Search dengan nama tersebut. Install dan aktifkan plugin tersebut.
Setelah selesai diaktifkan, maka langsung menuju menu Setting => Robots.txt Editor. Setelah itu Anda diminta untuk memasukkan penggalan kode akses kepada robot yang diizinkan untuk mengakses situs Anda, yaitu robot Google. Masukkan kode berikut ini:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: [isikan dengan URL sitemap Anda, misalnya sitemap.xml atau sitemap_index.xml]
Cara Kedua: Langsung Lewat Plugin Yoast SEO
Yoast SEO memang menyediakan fitur yang sangat lengkap di paket gratisnya. Dengan plugin ini, Anda bisa membuat robots.txt dengan mudah dan bisa langsung terpasang di blog Anda.
Caranya, silakan masuk ke Dashboard => SEO => Tools => Files editor. Di bagian robots.txt, silakan copy paste kode yang telah dibagikan di atas atau pun kode robots.txt lain yang Anda miliki di text area yang telah disediakan. Jangan lupa klik tombol Save.
Perhatikan bagian sitemap. Jika Anda membuat XML Sitemap blog Anda dengan bantuan plugin WordPress SEO by Yoast, maka ganti alamat sitemap Anda menjadi sitemap_index.xml.
Lengkap: Cara Setting Plugin WordPress SEO by Yoast
Cara Setting Plugin WordPress SEO by Yoast – Dari sekian banyak metode untuk mengoptimisasi ... Selengkapnya
Cara Ketiga: Langsung Lewat Plugin All in One SEO Pack
Bila Anda menggunakan plugin All in One SEO Pack, caranya juga mirip seperti sebelumnya. Anda hanya perlu login ke Dashboard => Feature Manager kemudian aktifkan fitur Robots.txt.
Setelah itu masukkan kode robots.txt Anda dan simpan perubahannya.
Lengkap: Cara Setting All in One SEO Pack
Lengkap: Cara Setting All in One SEO Pack – Jika Anda mencari plugin SEO terbaik untuk ... Selengkapnya
Cara Keempat: Buat Secara Manual dan Upload Dengan FTP FileZilla
Saya lebih suka cara manual seperti ini. Yang dibutuhkan hanyalah FTP FileZilla yang memang selalu saya gunakan. Baca panduan berikut ini:
Cara Menggunakan FileZilla: File Transfer Protocol (FTP)
Cara Menggunakan FileZilla: File Transfer Protocol (FTP) – Dunia pengembangan web sudah ... Selengkapnya
Setelah itu buka Notepad di komputer Anda (atau aplikasi teks editor sejenis), dan copy paste kode robots.txt ke dalamnya.
Setelah itu simpan dengan nama robots.txt kemudian upload ke root folder blog Anda menggunakan FileZilla. Selesai.
Itulah cara membuat robots.txt yang sangat berguna untuk keperluan SEO dan mengatasi kesalahan perayapan serta mencegah akses dari robot lain yang hendak menghancurkan atau pun mengganggu keamanan blog kita.
Semoga cara membuat robots.txt ini berguna untuk kepentingan pembangunan blog Anda yang berbasis WordPress.
Setiap kali saya cek website saya di SEO checker,pasti ada beberapa layanan tersebut memberitahukan bahwa robots.txt missing pada website saya.Jika hal demikian apakah berpengaruh terhadap SEO rank situs.
robot.txt hanya berguna untuk memberi/menolak akses dari robot mesin pencari atau robot crawler dari website lain. robot.txt memang sangat penting dan juga menjadi bagian dari SEO krn crawler dr Google akan menerima izin akses dari robot.txt Anda untuk mengindeks artikel/halaman untuk diindeks di mesin pencari
sangat membantu terimakasih,,
senang bisa bermanfaat 😀
Terima kasih Atas Informasinya sangat bermanfaat.
samasama gan
wah agan memang jujur kasih tau sitemapnya yoast…berarti sitemap.xml kita pengaruh boleh dipake atau tidak..kalo pakai plugin dan didaftarin di webmaster itu ada 2..
Makasih Om langsung dipasang diweb ane.. semoga bisa
oke bro 😀
salam kenal dan salam silaturahim
terima kasih gan tipsnya
samasama mas
mas infonya sangat membantu,saya mau tanya robot.txt q sudah taksetting dengn benar tp trs muncul pesan Googlebot can’t access your site,,,
lalu plugin KB.Robot.txtjg sdh deactive pesan Googlebot can’t access your site msh muncul jg,,,kira2 selain robot.txt,,,cara resolve pesan itu gmn y mas,,,thanks
pesan tersebut muncul karena Anda tidak memberikan hak akses kepada Googlebot untuk meng-crawl bagian tertentu dalam website Anda. Coba periksa kembali Robot.txt website Anda, dan coba temukan bagian mana yang dilarang oleh robot blog Anda untuk diakses.
iyaa gann.. info yg bagus
terima kasih
terma kasih bro atas informasinya..
bro saya mendapat kata-kata ini di dasboard webmastertools Severe health issues are found on your site. – Check site health ! apakah dengan menggunakan plugin di atas bisa mengatasi?
sdh dicoba mas bro.. trims sangat..
Trims’ bro … nice share
saya sudah terapin hasilnya sangat membantu
Thanks bos… di webmaster saya malah ada pesan tentang kesalahan robot.txt saya coba perbaiki sekarang.
Thanks ya sob, artikelnya langsung saya praktekkan buat blog saya yang baru en unyu-unyu
ketika saya cek robot teksnya gan, untuk blog saya kok masih bawaannya drupal, memang sih sebelumnya saya gunakan drupal terus migrasi ke wordrpress, cara mengatasinya bagaimana ya bang,,,,makasih sebelumnya
Alhamdulillah, terimakasih banyak infonya. Ini yang saya cari artikelnya.
saya coba pake wp robots tapi nggk bisa sob, ane coba pake KB robots semoga berhasil, thanks
sedang saya test gan…. kalo udah install plugin, itu yang di webmaster gimana urusannya? ada di sesuaikan
gan .. klo di google webmaster tools ada keterangan seperti ini "Google tidak dapat merayapi situs Anda karena kami tidak dapat mengakses file robots.txt situs Anda." padahal saya sudah membuat robot.txt nya.. penyelesaiannya gimana ya?
coba periksa kembali settingnya, dan pastikan Anda memasukkan sitemap xml blog Anda dengan alamat yang benar. kemudian tes terlebih dahulu di google webmaster
gan..salam kenal sebelumnya..oh ya gan…saya mau tanya..kenapa website saya ..setiap kali saya ketik url saya di google selalu ada tulisan A description for this result is not available because of this site’s robots.txt – learn more.,,mhon dibalas..terima kasih
kayanya ada masalah di robots.txt gan. coba delete atau perbaiki baris code yang ada disallow, atau delete aja file robots.txt di dalam root directory website agan, habis itu bikin file baru pake notepad kasih nama robots.txt, terus isi code baru di dalamnya, terus upload ulang ke root directory website agan.
Terimakasih gan, artikelnya sangat membantu 😀
Bisa langsung ane terapin ke wordpress ane
artikel nya sangat membantu,cuma ane agak bing juga ko klo web master sering dapet warning ya,itu masalah g ya gan?
Great post! I am actually getting ready to across this information which i found very interesting to read.
mantab sekali ulasan nya mas, sangat lengkap, dan jadi mengerti nih 🙂
Makaish gan informasinya… sangat berguna dan bermanfaat sekali. jadi nambah ilmu tentang SEO
salam kenal gan, mau nanya nih kl cara yg agan sebutin itu cm bisa utk yg self hosting ya? kalau u yg masih subdomain .wordpress.com ga bisa ya? maaf ya gan, soalnya bener" masih buta nih
Artikel ini untuk self-hosting gan, tapi untuk wordpress.com bisa juga langsung dari Google Webmaster Tool di bagian robots txt. Submit langsung ke situ gan.
terimakasih gan infonya.ini akan saya coba terapkan di blog saya.
Sangat membantu mas.. tapi say pengen tanya, kalo robots tambahan dibawah ini buat apa ya mas, saya liat mas pake tambahan ini
makasih
disallow: /*?*
Disallow: *?replytocom
Allow: .js
Allow: .css
disallow: /*?* => agar URL apapun dengan setelah tanda "?" tidak diindeks
Disallow: *?replytocom => agar URL komentar ngga terindeks
Allow: .js => agar Google bisa nge-render file .js (javascript) yang ada di template biar bisa ditampilkan dengan benar di mobile
Allow: .css => sama seperti yang sebelumnya
Makaish gan informasinya… sangat berguna dan bermanfaat sekali. jadi nambah ilmu tentang SEO
terimakasih mas, sangat membantu sekali.. ini otw pasang robot.txt di wordpress
mau tanya mas. kalau pakai robot.txt seperti blogger boleh gk. atau harus pke yang punyanya mas ya.?
makasih.
Boleh, robots.txt ngga harus sama. Robots.txt tergantung kita mau set gimana
Makasih Mas sih atas infonya, dari kemarin saya nyari bagaimana caranya, tapi banyak yang kurang jelas penjelasannya.
Informasinya sangat membantu sekali. Terima kasih buat postingnya
sangat membantu sekali..
ane dah muter2 dari tadi
heheheh
Kalo untuk wordpress yang berbasis ecommerce dengan hosting berbayar ga papa gan pake yang ini cara setting robot.txt nya ?
iya.. kalo bisa path ke folder plugins dan themes jangan di-block atau disallow.
terimakasi informasi nya mas…,, sangat membantu artikel tentang robot.txt
ternyata ada cara mudah buat setting robots.txt nya.
pikir saya bisa langsung edit lewat file manager di cpanel, ternyata saya cari gak ada file yang namanya robots.txt
alhamdulillah nemu cara ini, blog saya jadi sulit indexnya gara" robots.txt..
terimakasih mas.. 🙂
makasih gan informasinya.
sangat berguna dan bermamffaat
Trima kasih,
Sangat membantu sekali postingan-nya. Next buat lagi yang bagus
Keren gan.. Gw yang ga jdi thu. Lumyan ini wawasan
Terimakasih gan ini buat nambah wawasan.. Keren, nanti gua coba akh
Saya mengalami masalah url yang diblock di webmaster saat flecth..bagaimana mengatasinya..mohon bantuannya
Mau tanya kalo saya mau block gambar biar gak ke index google :
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap:
User-agent: Googlebot-Image
Disallow: /
Di ganti ke disallow itu bisa?
Thanks
bisa, asal user-agent dari crawler Google Image sudah benar, kode di atas sudah benar.
Saya lihat blog ini kok ngak pake Robot.txt gan,
apasannya kenapa ?
Apa pengaruh gan robot.txt ke website? kira2 apa pengaruhnya jika salah memasang robot.txt?
trimakasih mas admin, apa cara ini bisa mengatasi cakupan index di webmaster…?
bos! saya sudah cari KB robot.txt dimenu plugin tapi tidak ada? adakah kira2 pilihan yang lain?
Pakai Yoast SEO aja gan sudah termasuk konfigurasi Robots.txt di dalamnya
saya mencoba Robots.txt yang agan sarankan lalu saya pasangkan di robots.txt google webmaster tools saya. Dan besoknya muncul blocked resources di bagian google index dan saya muncul link wordpress saya. Setelah diklik, terdapat tanda (-) dan garis merah di bagian :
Disallow: /wp-includes
mohon pencerahannya gan.. trims
alhamdulilah Makasih banyak mas nih informasi nya saya bisa kebantu mas
Terima kasih Om, informasinya sangat bermanfaat
Om boleh tahu ini pakai theme apa ya namanya?