Pagi hari ini saya mendapatkan surat cinta dari Google Webmasters mengenai error akses file CSS dan JS (JavaScript) yang terjadi di situs ini. Agak kaget juga karena sebelumnya tidak pernah ada masalah, dan pesan kesalahan yang dikirimkan lewat email ini sendiri baru pertama kali saya tahu.
Setelah saya mencari tahu tampaknya sudah sejak lama Google menganjurkan agar akses ke file CSS dan JS dari website kita tidak diblokir melalui file robots.txt, ini supaya bot Google dan mesin pencari lainnya bisa mengindeksnya. Ini disebabkan Google akan berusaha menampilkan situs (render) sesuai aslinya untuk pengujian aksesibilitas (kemudahan penggunaan) suatu situs.
Berikut potongan isi email yang dikirimkan:
Googlebot cannot access CSS and JS files on http://utekno.com/
To: Webmaster of http://utekno.com/,
Google systems have recently detected an issue with your homepage that affects how well our algorithms render and index your content. Specifically, Googlebot cannot access your JavaScript and/or CSS files because of restrictions in your robots.txt file. These files help Google understand that your website works properly so blocking access to these assets can result in suboptimal rankings.
Apa akibatnya? Walaupun tidak ada hukuman atau pinalti kalau dibiarkan tapi rasanya juga akan berpengaruh terhadap peringkat situs kita dibandingkan yang tidak mengalaminya.
Solusinya tentu dengan memperbolehkan Googlebot mengakses jenis file – file diatas yang digunakan di situs anda dengan menambahkannya dalam file robots.txt. Jadi langkah selanjutnya adalah melacak file mana saja yang dideteksi telah diblokir melalui robots.txt Tester atau bisa juga Fetch as Google and Render di Google Webmasters.
Disini contohnya saya mencoba mengecek uTekno.com ternyata ada satu file JS baru bernama http://cdn.utekno.com/wp-includes/js/wp-emoji-release.min.js?ver=4.2.3 tambahan dari update WordPress terbaru (4.2.3). Pantas kalau saya mendapatkan banyak email peringatan dari hampir semua situs WordPress saya karena file ini sebelumnya tidak ada dan belum dikombinasikan menggunakan Autoptimize.
Kemudian karena sudah kita ketahui mana filenya dan lokasinya di hosting tinggal tambahkan saja kedalam daftar yang diperbolehkan di robots.txt. Contohnya untuk mengatasi masalah file WP Emoji diatas adalah: Allow /wp-includes/js/wp-emoji-release.min.js atau supaya seluruh file CSS atau JS di WordPress kedepannya tidak ada yang terblokir aksesnya Allow /wp-includes/js/ dan Allow /wp-includes/css/.
Selesai sudah dan tinggal tunggu Googlebot mengindeks halaman situs anda dan melihat aturan terbarunya lagi, semestinya dalam beberapa hari akan berhasil diperbaiki dan kembali normal. Saya juga masih menunggu.
Semoga bermanfaat. 🙂
querynya begini benar tdk ya ?
User-agent: *
Allow : /wp-includes/css/
User-agent: *
Allow : /wp-includes/js/
Halo, benar kok mas tapi untuk user-agentnya cukup tulis sekali saja.
apakah aturan diatas berlaku untuk robots txt joomla juga.?? kebetulan masalah yg saya hadapi seprti ini
Halo Asep, kalau Joomla agak lain mas. Coba ditambahkan ini:
User-agent: Googlebot
Allow: *.css
Allow: *.js