Cara Membuat File Robots.txt Mudah - ALfiyah Info Blogger

Cara Membuat File Robots.txt Mudah - ALfiyah Info Blogger

file Robots txt in blogger

Bagaimana Cara Membuat File Robots.txt

File Robots Txt adalah sebuah misteri bagi pakar blogger seperti saya.Tetapi kenyataannya tidak ada yang misteri di dunia ini,kecuali anda menjelajahi sepenuhnya.Jika anda khawatir tentang bagaimana cara mudah menulis file robots.txt,jangan terlalu panik ini sangat sederhana sekali seperti anda menulis postingan blog atau umpama mengedite sebuah artikel halaman yang ada. Yang penting anda harus mengetahui tindakan apa yang harus digunakan. Biasanya robot / spider menjelajahi situs untuk beberapa hal,seperti halaman artikel, control panel admin,tag,arsip. Mereka mengindeks apa apa saja yang terlihat untuk di akses bagi mereka. Hal ini sangat penting untuk membatasi mereka dari mengindeks segala sesuatu dari website kita.
Setiap file Robots.txt dari sebuah situs akan berlokasi di www.Domain Name.com/robots.txt, misalnya www.alfiyah.com/robots.txt.Biasanya robots.txt file juga dikenal sebagai Robots.txs Excluison Protocol.Jadi setiap kali robot mengunjungi website anda,ia terlebih dahulu harus mengunjungi halaman / robots.txt,kemudian mengunjungi halaman lain untuk mengindeks.

Sekarang Ikuti 7 Lankah Cara Membuat File / Robots.txt


Sekarang kita akan memeriksa bagaimana agar bisa membatasi spider mesin pencari untuk mejelajahi situs kami untuk hal-hal yang tidak di inginkan.Anda harus mengenal 6 tahap untuk menulis file robots.txt.Dan anda juga harus mengetahui dasar dan advanse minimal untuk satu kali untuk menulis file / robots.txt,karena anda tidak setiap hari untuk menggantinya.Mari kiata lihat perintah yang paling penting tahapan untuk menulis sebuah file yang sukses robots.txt.

Tahap 1;perbedaan * dan / entri.


Jadi sebelum menulis file sukses / robots.txt. Anda harus tahu perintah dasar dan penggunaannya. Hal pertama yang perlu anda ketahui tentang /robots.txt adalah perintah User-agent. Selanjutnya muncul perintah Disallow yang di jelaskan sebagai berikut.

”
User-agent: *
Disallow:

Disini,User-agent: * berarti bahwa bagian tersebut diterapkan pada semua robots.* Disebut Wildcard yang biasanya berarti semua.Datang keperintah Disallow,ini memberitahu robot bahwa mereka tidak dapat indeks dimana saja mereka inginkan. Jadi * ini berarti ,robots harus membaca semua materi sebelum melanjutkan .

”
User-agent: *
Disallow: /

Disallow: / ini berarti robot tidak diperbolehkan untuk menjelajahi apa-apa,jadi sekarang anda punya perbedaan ? Jika * maka indeks semua,jika / jangan indeks apa-apa.

Tahap 2: Muka perintah dalam file robots.txt.


Sehingga kita menemukan perbedaan antara * dan /,sekarang saatnya untuk belajar lebih banyak tentang perintah sebelumnya dalam file/robots.txt.Dimulai User-agent dan Disallow,kita akan memperoleh beberapa perintah untuk melarang robot yang tidak diinginkan dari mengakses situs kami.

” User-agent: *
Disallow: /cgi-bin/

Perintah diatas ini berarti bahwa,semua robot berkas tidak diizinkan untuk indeks apapun di folder cgi-bin memiliki subfolder dan halaman cgi-bin/newsite,cgi atau cgi-bin/examle/idontknow cgi,maka mereka mau di indeks atau di akses oleh robot.
Dan jika anda ingin membatasi file robot tertentu,kemudian menyebutkan nama robot untuk membatasi dari mengindek situs anda.

”
User-agent: Googlebot-image
Disallow: /

Dalam contoh diatas,kita membatasi google image pencarian bot untuk mengindeks situs kami untuk gambar disini.Googlebot-image adalah robot yang mencoba untuk melarang dari situs kami. Jadi tanpa izin anda dari /robots.txt.Googlebot-image tidak seharusnya indeks file apapun dari directory root "/" dan semua subfolder,mau indeks apapun dari situs anda.Bot ini biasanya di gunakan untuk memindai gambar untuk menunjukan kepada mereka di google-image pencariaan.

Tahap 3: Perbedaan antara /sesuatu / dan /sesuatu.


Disini kita akan melihat bagaimana membatasi file yang berbeda,folder atau tempat-tempat yang merugikan kesehatan diri sendiri.

”
User-agent:*
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-incluides

Panjang / perintah robots.txt memberitahu robot di atas bahwa sesuatu di direktori cgi-bin tidak dapat diakses oleh salah satu bot. Demikian wp-admin, wp-content, wp-includes direktori dibatasi untuk pelanggaran oleh robot.
Anda harus mencatat hal yang sangat penting tentang "/" penggunaan. Jika Anda ingin menyebutkan sebuah direktori atau folder di situs Anda, maka mereka harus memulai dan mengakhiri dengan "/" di file / robots.txt. Sebagai contoh,

”
User-agent:*
Disallow: /cgi-bin/

Ini akan memberitahu robot yang cgi-bin adalah direktori, dan.

”
User-agent:*
Disallow: /cgi-bin

Ini akan memberitahu robot untuk mengobati cgi-bin bukan sebuah direktori, tapi sebagai file dalam situs web Anda. Sama seperti cgi-bin.html atau sesuatu. Jadi menghindari membuat kesalahan yang hilang "/" di awal dan akhir untuk direktori.

Tahap 4: Bagaimanna untuk membatasi gambar yang tidak di inginkan ?


Jika Anda tidak ingin bot Google untuk mengindeks gambar tertentu, Anda dapat membatasi itu.

”
User-agent:Googlebot-image
Disallow: /image/adsense.jpg

Menggunakan perintah di atas, Anda dapat membatasi Googlebot-Image untuk gambar indeks adsense.jpg.

Tahap 5: Bagaimanna untuk membatasi halaman yang tidak di inginkan ?


Hanya mirip dengan perintah di atas, Anda juga dapat membatasi halaman tertentu dalam file / robots.txt.

”
User-agent:*
Disallow: /alfiyah/adsense.html
Disallow: /alfiyah/applications.html
Disallow: /alfiyah/scret.html

Perintah di atas menceritakan robot untuk tidak mengindeks atau merambah halaman yang disebutkan di atas. / seosiren / sini berarti direktori, dan adsense.html, applications.html, secret.html sebagai halaman. Jadi kita membatasi / alfiyah / serta halaman lain untuk menjadi indeks.

Tahap 6: Apa yang dimaksud dengan sempurna file layout/robots.txt?


Anda / file robots.txt harus sesuatu seperti ini.

”
Sitemap: http://cara-alfiyah.blogspot.com/sitemap.xml
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /recommended/
Disallow: /comments/feed/
Disallow: /wp-content/plugins/
Disallow: /trackback/
Disallow: /index.php
Disallow: /xmlrpc.php
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /

Itulah, di atas / robots.txt berkas, kita membatasi direktori yang paling penting dan file yang akan diindeks atau dijelajahi oleh robot.

Tahap 7: Knock off!


Jika Anda tidak jelas atau masih bingung tentang file / robots.txt setelah membaca posting ini, saya akan menyarankan Anda untuk tiruan file / robots.txt dari teman atau website pesaing. Hehe! Itulah apa yang dapat Anda lakukan ketika Anda tidak jelas tentang hal-hal instan

Comments

Post a Comment

Popular posts from this blog

5 Cara Mengubah Bahasa Keyboard ke Arab, Jepang, dll di Semua Keyboard Android

Image
Tumeskecil - Pada keyboard qwerty, huruf yang digunakan hanya terbatas pada huruf latin yang hanya bisa digunakan di beberapa bahasa seperti bahasa Indonesia dan Inggris. Namun, bagaimana dengan bahasa lainnya yang tidak menggunakan huruf latin? Seperti contohnya bahasa Arab. Tentunya kamu pasti mengakalinya dengan menulis bahasa tersebut dengan bahasa latin seperti اسلم عليكم menjadi Assalamualaikum. Begitupun dengan bahasa lainnya. Penulisan seperti itu sepertinya dirasa agak kurang keren. Sebenarnya, mudah mengganti keyboard qwerty menjadi berhuruf lainnya. Selain itu, ada juga kelompok orang yang memahami bahasa tertentu, seperti orang yang ahli dalam bahasa Jepang juga ingin chattingan menggunakan bahasa yang mereka kuasai. Nah, kali ini Tumeskecil akan membagikan cara mengubah papan ketikke bahasa arab, jepang dan sebagainya. Tutorial cara mengubah bahasa keyboard android berikut kami paparkan dengan berbagai jenis keyboard virtual smartphone yang populer. A. Gboa...
Read more

cara mudah mengganti domain blogspot (custom domain)

Image
HERI2911- cara mudah mengganti domain blogspot (custom domain) kali ini saya akan menjelaskan bagaimana cara mudah mengganti domain blogspot (custome domain) ke domain kita sendiri yang sudah kita beli dari layanan penyedia domain misal tadi nya blog kita domainnya heriyanto221193.blogspot.com akan kita rubah menjadi herinda.com. bagai mana caranya..? berikut ini akan menjelaskan cara mudah menggati domain blogspot (custome domain) , namun sebelum menggati domain pada blogspot kalian,alangkah baiknya membaca artikel sebelumnya yang pernah saya tulis mengenai resiko menggati domain pada  blog  >>>> BACA DISINI langsung saja langkah cara mudah mengganti domain blogspot (custom domain) . pertama:  beli domain di web penyedia layanan domain,baik  dari penyedia layanan dengan harga murah hingga harga termahal tinggal menyesuakan budget saja,ada banyak penyedia layanan yang bisa kita pilih seperti rumahweb , exabytes dan bahkan kita bisa beli langsung dari b...
Read more

Cara Mengatasi Penolakan AdSense "Situs Tidak Aktif" atau "Inventaris Berharga: Tidak Ada Konten"

Image
COPAD | Cara Mengatasi Penolakan AdSense "Situs Tidak Aktif" atau "Inventaris Berharga: Tidak Ada Konten" - Halo sobat COPAD, selamat datang kembali bagi pengunjung lama, eh.. Setia maksudnya, hehe.. :v Dan selamat datang juga bagi pengunjung baru di blog ini. Pada kesempatan kali ini, mimin akan membagikan solusi kepada sobat yang sering atau pernah ditolak AdSense. Apa alasan penolakannya, dan bagaimana cara mengatasinya? Yuk, langsung ke TKP. Check it out! Ada yang sering atau pernah mengalami email penolakan dari Google AdSense dengan alasan "Situs Tidak Aktif" atau "Inventaris Berharga: Tidak Ada Konten" setelah penggantian domain ke TLD? Padahal blog dapat diakses dan konten juga sudah banyak. Kode iklan AdSense juga sudah terpasang pada HTML blog. Maksud dari "Situs Tidak Aktif" itu sebenarnya bukan untuk menekankan kita untuk terus aktif ngeblog sepanjang masa pengajuan (review) AdSense, namun blog kita memang tidak dapat d...
Read more