Posted on

Mengenal Robot.txt Dan Bagaimana Mensettingnya

wpJakarta -Mengenal Robot.txt Dan Bagaimana Mensettingnya. Bagi anda yang sudah malang melintang dalam dunia website atau internet pastilah robot.txt bukan lagi hal yang asing. Tapi sebagian yang baru mulai masuk dunia maya, mungkin robot.txt masih terdengar asing. Disini kami akan bahas sedikit mengenai ” Mengenal Robot.txt Dan Bagaimana Mensetingnya ? “

Apa itu robot.txt

Robot.txt adalah sebuah file yang sesuai namanya berekstensi .txt. Robot.txt memungkinkan agar website memberikan “perintah” terhadap bot perayap dari mesin pencari. Misalnya google yang memiliki serangkaian algoritma untuk merayapi dan mengindex setiap website yang live di dunia maya.

Baca Juga :

Bot perayap tersebut biasanya dikonfigurasi untuk menemukan dan membaca robot.txt pada server web sebelum membaca file-file yang lain. Ini supaya bot mesin pencari mengetahui apakah ada instruksi spesial dari pemilik website terkait dengan status website mereka.

Apa fungsi robot.txt

Robot.txt memiliki kode kode perintah bagi bot mesin pencari apakah file atau direktori mana yang perlu di index dan yang tidak perlu di index. Mungkin karena suatu alasan, privasi atau alasan lainnya. Ada beberapa halaman atau kategori atau post yang tidak perlu di index pada mesin pencari sehingga tidak perlu ditampilkan pada hasil pencarian search engine.

Dan jika website memiliki lebih dari satu domain dalam hal ini adalah subdomain. Maka setiap subdomain tersebut harus memiliki file robot.txt masing-masing.

Bagaimana mensetting kode perintah pada robot.txt

Untuk aspek SEO robot.txt memang penting. Tapi file robot.txt bukanlah file yang krusial bagi website. Artinya jika file robot.txt anda terhapus, maka hal tersebut tidak akan merusak website. Kita bisa dengan mudah membuatnya dan menaruhnya lagi pada root folder website kita.

Jika anda menginstal plugin Yoast SEO maka pada menu setting >> tools editor anda akan menemukan window dimana anda bisa melihat dan mengkonfigurasi robot.txt. Jika kebetulan website anda belum ada robot.txtnya, dengan plugin yoast SEO anda juga bisa mengenerate robot.txt pada menu tersebut.

Contoh baris perintah pada file robot.txt

 User-Agent: *
 Allow: /wp-content/uploads/
 Disallow: /wp-content/plugins/
 Disallow: /wp-admin/
 Sitemap: https://example.com/sitemap_index.xml

Pada baris-baris perintah robot.txt tersebut (User-Agent: *) berarti kita mengijinkan semua bot mesin pencari (google, bing, yahoo, yandex dan lain-lain) untuk mengindex seluruh file pada folder upload. Lalu tidak mengijinkan bot untuk mengindex folder plugin dan folder wordpress admin. Pada baris terakhir kita juga memberikan informasi mengenai file xml sitemap.

Sedikit penjelasan mengenai robot.txt bisa memberikan sedikit referensi dan menjawab tentang Mengenal Robot.txt dan Bagaimana Mensettingnya ? Pada artikel lainnya kami akan menulis bagaimana mengoptimalkan file robot.txt dengan beberapa baris kode yang bisa kita masukan.