Mengatur Robots.txt Di WordPress

Agar blog kita dirayapi sempurna oleh bot-bot Google, Bing, Yandex dan lain sebagainya. Ada baiknya kita membuat file robots.txt. Di blog WordPress saya, saya menggunakan plugin KB Robots.txt untuk membuat dan mengatur robots.txt. Sebenarnya membuat file robots.txt juga bisa dilakukan lewat cpanel, namun saya malas untuk membuka cpanel hosting saya. Heheh.. Makanya, saya menggunakan plugin untuk membuat file robots.txt saya.

Saya tidak tahu pasti, settingan robots.txt seperti apa yang membuat blog WordPress kita berada diposisi yang bagus. Namun, selama menggunakan blog WordPress saya mengatur robots.txt seperti itu-itu saja. Dan alhamdulillah tidak ada masalah dalam posisinya di Google. Ada pun pengaturan robots.txt saya di blog WordPress saya, yaitu:
User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*?
Disallow: /*?replytocom
Disallow: /*?comments=true$
Disallow: /*?postcomment=true$
Disallow: /*page=*
Disallow: /*pg=*
Disallow: /*/2$
Disallow: /*/3$
Disallow: /*/4$
Disallow: /*/5$
Disallow: /*/6$
Disallow: /*/7$

User-agent: duggmirror
Disallow: /

User-agent: BlackWidow
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: HTTrack Website Copier
Disallow: /

User-agent: HTTP Weazel
Disallow: /

User-agent: Leech
Disallow: /

User-agent: Offline Commander
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /trackback/
Disallow: /feed/
Disallow: /author/
Disallow: /search/
Disallow: /tags/
Disallow: */feed/
Disallow: /*/feed/rss/$
Disallow: /*?*
Disallow: /?s=*

Sitemap: http://m.fadhly.biz/sitemap.xml
Nah, itulah pengaturan robots.txt di blog WordPress saya. Bagaimana dengan anda? Pengaturan seperti apa yang anda buat di robots.txt anda? Adakah sebuah pengaturan khusus? :)

1 Komentar di artikel "Mengatur Robots.txt Di WordPress"

  1. Selama 6 bulan website saya tidak muncul di pencarian keyword apapun dan setelah menginstal plugin KB robots.Txt dan saya bersyukur sudah terindex pada keyword TOKO SOLO tapi deskripsinya tidak muncul dan yang mau sya tanyaken bagaimana caranya agar deskripsi itu bisa muncul dan mohon saran nya. Terimakasih

    ReplyDelete

Silahkan tinggalkan sebuah komentar untuk artikel yang sedang anda baca ini. Jika butuh bantuan, jangan sungkan-sungkan untuk bertanya ya atau follow Twitter saya @MF4dhli :)