Rekomendasi Robots.txt untuk WordPress

Robots.txt merupakan file yang seharusnya ada pada setiap website. Fungsinya adalah untuk memberi instruksi pada bot yang mengakses website mengenai apa saja yang boleh ditelusuri dan disimpan, juga frekuensi kunjungannya. Walaupun kalau tidak ada situs anda tidak akan bermasalah tapi sebaiknya memang kita membuat file Robots.txt supaya optimal.

Jadi anda tinggal membuat sebuah file bernama robots.txt dan silahkan diupload pada direktori public_html atau www pada web hosting anda. Tentu sebelum diupload sebaiknya sudah anda isikan dahulu dengan setting – setting yang sesuai dengan kebutuhan situs anda karena tidak semua sama.

Kali ini yang saya bahas adalah khusus untuk WordPress dan berdasarkan robots.txt milik uTekno. Jadi kalau anda buka maka isinya akan seperti ini:

# Disallowed and allowed directories and files
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /trackback/
Disallow: /xmlrpc.php
Disallow: /feed/
Allow: /wp-content/uploads/
?
# Define website sitemaps
Sitemap: http://utekno.com/sitemap_index.xml

Akan saya jelaskan maksud dari beberapa konfigurasi didalam file tersebut:

• User-agent: * – Ini menandakan bahwa semua bot akan mengikuti aturan yang tertulis berikut tanpa kecuali.
• Disallow – URL yang mengikuti kata ini tidak diperbolehkan untuk diakses dan dicatat oleh bot.
• Allow – URL yang dituliskan diperbolehkan untuk dibaca dan disimpan oleh bot mesin telusur.
• Sitemap – Menandakan bahwa url berikut merupakan lokasi dari sitemap situs. Saya menggunakan bantuan plugin Yoast WordPress SEO untuk membuat peta situs.

Tentu saja anda tidak harus mengikuti sama persis dengan milik uTekno, bisa digunakan sebagai contoh atau referensi. Karena itulah saya sebut sebagai rekomendasi. Silahkan ditiru dan dimodifikasi sesuai kebutuhan. Saya sendiri juga belajar dari situs lain kok. 🙂