Mencegah Duplikasi Halaman Dengan Robots.txt

Saya ada sedikit tips dan trik buat kamu untuk mengatasi masalah duplikat halaman (page) di Google. Yang mana saya sudah menerapkannya di blog saya Fadhly. Kita sudah tau bahwa robots.txt itu mempunyai banyak fungsi, salah satunya adalah mampu mencegah suatu halaman terindex di mesin pencari (search engine).

Contoh yang paling mendasar ialah antara url fadhly.biz dengan fadhly.biz/page/2 itu sebenarnya sama saja. Namun, kedua url tersebut terindex di Google maka akan menjadi duplikat. Sebab, di dalam kedua url tersebut mengandung konten yang sama. Simak juga, mengatur robots.txt WordPress

Apabila ini tidak dicegah, maka akan mengakibatkan semakin banyaknya url duplikat blog kita di Google. Untuk mencegah hal ini caranya sangat mudah sekali, yaitu dengan menggunakan fungsi robots.txt. Robots.txt yang saya gunakan di blog saya satunya lagi adalah seperti ini:
User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*?*
Disallow: /*?

User-agent: ia_archiver
Disallow:

User-agent: duggmirror
Disallow: /

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comment-
Disallow: /*/comment-page-*
Disallow: /?random/
Disallow: /page/
Disallow: /pages/
Allow: /wp-content/uploads

User-agent: Mediapartners-Google
Allow: /

User-agent: Adsbot-Google
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: Googlebot-Mobile
Allow: /

Sitemap: http://fadhly.biz/sitemap.xml

Silahkan salin ke file robots.txt milik kamu. Insya Allah permasalahan mengenai duplikasi halaman dapat teratasi. :)

Belum ada komentar pada artikel "Mencegah Duplikasi Halaman Dengan Robots.txt"

Post a Comment

Silahkan tinggalkan sebuah komentar untuk artikel yang sedang anda baca ini. Jika butuh bantuan, jangan sungkan-sungkan untuk bertanya ya atau follow Twitter saya @MF4dhli :)