Halo pembaca eraweb.id! Kali ini kita akan membahas cara setting robot txt. Jika kalian memiliki website yang dibangun memakaiplatform WordPress dan ingin meningkatkan peringkatnya di halaman hasil pencarian mesin telusur seperti Google, salah satu optimasi SEO on pages adalah mengatur bot engine crawl, yakni memastikan agar ‘bot’ mesin pencari bisa secara mudah menemukan dan mengindeks halaman-halaman penting di situs kalian.
Salah satu cara untuk melakukannya adalah dengan memasang file robots.txt yang terstruktur.
Jangan khawatir, admin Era Web ini, saya akan membahas secara lengkap dan mudah dipahami tentang cara setting robots.txt di website WordPress kalian. Ayo kita mulai!
Apa Itu File Robot txt WordPress dan Fungsinya?
Sebelum kita masuk ke dalam cara setting robots.txt di WordPress, mari kita pahami terlebih dahulu apa itu file ini dan apa fungsinya. Ketika kalian membuat website dan live di internet, mesin pencari akan mengirimkan ‘bot’ atau agen khusus untuk menjelajahi dan membuat peta semua halaman yang ada di situs Anda.
File robots.txt berperan memberikan instruksi kepada bot mesin pencari tentang halaman mana saja yang boleh atau tidak boleh diindeks.
Dengan adanya file ini, web master bisa memberi tahu mesin pencari tentang konten yang sebenarnya relevan dan penting bagi, sehingga setiap konten tersebut akan muncul di hasil pencarian dengan kata kunci yang sesuai.
Jadi, berkat setting robots txt web maka kalian bisa menentukan konten mana boleh di crawl dan di indexs.
Misalnya, kalian tidak ingin halaman-halaman dari plugin atau direktori bawaan yang tidak relevan tampil di hasil pencarian.
Nah, disinilah peran file robots.txt sangat penting.
Dengan instruksi yang jelas di dalamnya, dapat memberitahu bot search engine untuk fokus pada konten yang berkualitas dan diinginkan di indexs, dan meninggalkan pages yang tidak perlu diindeks.
Itulah pentingnya settings robot txt webiste wordpress maupun lainnya.
Di Mana File Robots Txt WordPress Tersimpan?
Sebelum memahami cara setting robots.txt di WordPress, kalian harus tahu bahwa file ini sebenarnya disimpan di direktori utama (root) dari website kalian.
Jadi, alamat lengkapnya akan menjadi www.website-anda.com/robots.txt. darisini kalian bisa mengakses file robots.txt dari website manapun, cukup mengetikkan alamat domain diikuti dengan /robots.txt.
Ini Berlaku untuk semua situs.
Rule Apa Saja saat Settings Robots txt WordPress?
File robots.txt menggunakan peraturan sederhana yang mengandung dua hal utama: user agent dan directive. User agent menentukan bot atau agen apa yang akan menerapkan peraturan tertentu. Sementara itu, directive berisi instruksi tentang halaman-halaman yang boleh atau tidak boleh diindeks oleh bot tersebut.
Beberapa rule yang umum digunakan dalam file robots.txt di WordPress antara lain:
User-agent: Menentukan bot atau agen mana yang akan mengikuti instruksi selanjutnya.Disallow: Menginstruksikan bot untuk tidak mengindeks halaman yang ditentukan.Allow: Mengizinkan bot untuk mengindeks halaman yang ditentukan.Sitemap: Menunjukkan lokasi sitemap situs Anda.
Cara Setting Robot Txt di WordPress (3 Metode)
Setidaknya ada dua cara umum yang bisa kalian gunakan sebagai cara setting robot txt website, yakni memakai alat bantu pluggin dan cara kedua memakai cara manual dengan membuat file robots.txt dan mengunggahnya di directory website.
- Menggunakan Plugin Yoast SEO
Salah satu cara termudah untuk setting robots.txt di WordPress adalah dengan menggunakan plugin Yoast SEO.
Plugin ini populer dan sangat berguna untuk mengoptimalkan SEO website.
Setelah menginstal dan mengaktifkan plugin Yoast SEO, kaloan dapat bisa secara mudah mengatur file robots.txt web melalui langkah-langkah yang disediakan oleh plugin tersebut.
- Menggunakan Plugin All in One SEO Pack
Sebagai Alternatif lain yang tak kalah baik adalah menggunakan plugin All in One SEO Pack.
Plugin ini juga sangat terkenal dan bisa membantu praktisi SEO dengan mudah mengatur file robots.txt tanpa harus menyentuh kode-kode teknis.
Cukup melalui Plugin , kamu bisa menentukan semua pengaturan bot merayapi situs.
- Membuat dan Mengupload File
robots.txtWordPress Melalui FTP
Jika ingin cara yang lebih advanced dan ingin benar-benar mengontrol file robots.txt , kalian bisa membuatnya secara manual menggunakan teks editor dan menguploadnya melalui FTP (File Transfer Protocol).
Pastikan kalian menyimpan file robots.txt di direktori utama (root) situs.
Berikut setting robot txt wordpress yang benar:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Bingbot
Disallow: /
Silahkan copy dan paste sebagai
Cara Mengecek File Robots.txt WordPress dan Submit ke Google Search Console
Setelah mengatur file robots.txt website penting untuk memastikan apakah konfigurasi sudah benar dan tidak ada kesalahan yang dapat mengganggu indeks website.
Caranya cukup sederhana, dapat menggunakan alat pengujian robots.txt yang disediakan oleh Google Search Console.
Setelah yakin bahwa semuanya berjalan dengan baik, Anda juga bisa mensubmit file robots.txt ke Google Search Console untuk mempercepat proses pengindeksan.
Kesimpulan
Sekarang kalian sudah mengerti betapa pentingnya file robots.txt dalam memperbaiki peringkat website WordPress di hasil pencarian mesin telusur.
Dengan mengatur file ini secara tepat, hal ini memberi petunjuk yang jelas kepada bot crawl mesin pencari tentang halaman-halaman yang sebenarnya relevan dan penting.
Ingat, ketika bot mesin pencari tahu apa yang diinginkan, website akan lebih mudah ditemukan oleh calon pembaca atau pelanggan. Jadi, jangan lewatkan langkah penting ini!
FAQ (Pertanyaan yang Sering Diajukan)
1. Apakah file robots.txt wajib diaktifkan di website WordPress? File robots.txt tidak wajib diaktifkan, tetapi sangat disarankan untuk mengoptimalkan indexs situs oleh mesin pencari. Melalui settings file ini, kaloan bisa memastikan bot mesin pencari hanya mengindeks konten yang relevan dan meninggalkan halaman-halaman yang tidak perlu.
2. Apakah saya perlu menggunakan plugin untuk setting robots.txt di WordPress? Bisa iya atau tidak, jika sudah paham Anda tidak perlu menggunakan plugin. Mulai membuat file robots.txt secara manual dan menguploadnya melalui FTP jika Anda mengerti kode-kode teknisnya.
3. Bagaimana cara mengetahui apakah file robots.txt sudah berfungsi dengan benar? Setelah settings file robots.txt, kamu bisa menggunakan alat pengujian robots.txt yang disediakan oleh Google Search Console untuk memastikan konfigurasi sudah benar dan tidak ada kesalahan yang mengganggu indeksasi situs Anda.
4. Apakah saya bisa mengizinkan atau melarang bot tertentu untuk mengindeks halaman tertentu? Ya, Anda bisa menggunakan perintah Disallow atau Allow dalam file robots.txt untuk mengizinkan atau melarang bot tertentu mengakses halaman-halaman tertentu di website.
5. Apakah file robots.txt harus selalu diletakkan di direktori utama situs? Ya, file robots.txt harus diletakkan di direktori utama (root) situs Anda agar bot mesin pencari bisa dengan mudah menemukannya dan mengikuti instruksi yang ada di dalamnya.
Itulah penjelasan lengkap cara settings robots txt website di wordpress.