Rekomendasi robots.txt untuk MyBB

Membuat forum sekarang sangatlah mudah, tinggal install CMSnya atau pilih dari Softaculous maka selesai sudah urusannya. Yang sedang saya coba sekarang adalah MyBB dan tidak ada masalah berarti kalau dipasangkan pada cPanel atau shared hosting pada umumnya. Search Engine Friendly URL juga berfungsi normal karena sudah otomatis dibuatkan .htaccess.

Tapi ada satu hal yang saya perhatikan pada direktori public_html ternyata tidak disertakan file robots.txt yang akan sangat berguna dalam menginstruksikan bot – bot mesin telusur agar tidak ikut mengindeks halaman – halaman tertentu pada forum ada. Tidak semuanya perlu muncul di Google kan?

Setelah saya cari – car informasinya akhirnya ketemu yang tampaknya cocok, silahkan copy-paste ke robots.txt milik anda:

User-Agent: *
Disallow: /moderation.php
Disallow: /ratethread.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /sendthread.php
Disallow: /usercp.php
Disallow: /usercp2.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /editpost.php
Disallow: /private.php
Disallow: /search.php
Disallow: /stats.php
Disallow: /member.php
Disallow: /memberlist.php
Disallow: /safelink.php
Disallow: /syndication.php

Kalau sudah terlanjur diindeks Google atau mesin pencari lainnya maka tunggu 1-2 minggu biasanya akan perlahan – lahan lenyap.