Membuat Robots.txt Manual Di WordPress

Sebenarnya membuat robots.txt di wordpress dot org itu sangat mudah dan tidak terlalu sulit. Dengan membuat robots.txt di blog kita, maka search engine (Google) akan lebih mudah mengindex dan merekam blog kita. Robots.txt itu fungsinya juga hampir sama dengan sitemap.xml. Nah salah satu keistimewaan dari robots.txt ini yaitu dapat memblokir search engine agar tidak mengindex folder-folder seperti wp-admin, wp-content, wp-includes, dan lainnya.

Dan juga ternyata wordpress telah menyediakan beberapa plugin untuk membuat sebuah robots.txt di blog kita. Salah satu plugin untuk membuat robots.txt adalah plugin KB Robots.txt. Silahkan instal terlebih dahulu plugin KB robots.txt di blog kamu. Setelah itu masuk ke Dasbor ~> Settings, lalu pilih KB robots.txt.

Selanjutnya, silahkan copy kode di bawah ini:
Sitemap: http://fadhly.biz/sitemap.xml

User-agent: IRLbot
Crawl-delay: 3600
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*rurl=*
Allow: /sitemap.xml.gz$
Allow: /wp-content/uploads/
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /

Setelah itu paste kan kode tersebut di KB robots.txt. Jika sudah klik Submit.

Catatan:
Untuk Sitemap: http://fadhly.biz/sitemap.xml, silahkan ganti dengan alamat blog sitemap kamu. Baca juga, cara terbaru mengatur robots.txt di WordPress.

Belum ada komentar pada artikel "Membuat Robots.txt Manual Di WordPress"

Post a Comment

Silahkan tinggalkan sebuah komentar untuk artikel yang sedang anda baca ini. Jika butuh bantuan, jangan sungkan-sungkan untuk bertanya ya atau follow Twitter saya @MF4dhli :)