it-swarm-id.com

Jika saya tidak ingin menetapkan perilaku khusus, apakah boleh jika saya tidak repot-repot memiliki file robots.txt?

Jika saya tidak ingin menetapkan perilaku khusus, apakah boleh jika saya tidak repot-repot memiliki file robots.txt?

Atau dapatkah kekurangan satu itu berbahaya?

29
Dan Dumitru

Kekurangan file robots.txt tidak akan berbahaya. Dari situs web robotstxt.org :

Untuk memungkinkan semua robot menyelesaikan akses

Agen pengguna: *
Melarang:

(atau cukup buat file "/robots.txt" kosong, atau jangan gunakan sama sekali)

Namun, bahkan jika Anda tidak menentukan apa pun dalam file robots.txt Anda, itu adalah cara yang baik untuk memberi tahu mesin pencari tentang lokasi XML Sitemap Anda . Anda dapat melakukan ini dengan menambahkan baris di bagian atas file robots.txt Anda yang terlihat seperti:

Sitemap: http://www.example.com/sitemap-Host1.xml

Anda juga harus menyadari bahwa tidak memilikinya akan membuat banyak 404 entri di log web Anda.

30
JasonBirch

Jika Anda tidak memiliki "robots.txt" log kesalahan Anda akan mendapatkan banyak 404 pada file, yang bisa menjadi semacam gangguan, mirip dengan jika Anda tidak memiliki favicon.

21
delete

Saya pikir itu akan sudah menjadi OK, kalau tidak petak besar web tidak dapat diindeks oleh laba-laba web.

Tidak ada robots.txt sama dengan "bolehkan pengindeksan oleh semua orang" robots.txt hampir sesuai definisi.

6
Jeff Atwood

Kurangnya file robots.txt menyerahkannya ke perayap untuk memutuskan apa yang bisa dan tidak bisa dilakukan. Karena hanya butuh beberapa detik untuk menghindari segala jenis ambiguitas, mengapa tidak membuat satu yang memungkinkan semua agen untuk mengakses semuanya?

2
Tim Post

Ya, karena robots.txt berisi alamat (sitemap Anda Anda, tidak memilikinya berpotensi membahayakan.

0
Thomas Bonini

Bergantung pada konten Anda, seharusnya tidak ada masalah dengan tidak memiliki file robot selama Anda ingin setiap halaman di situs Anda diindeks oleh mesin pencari.

0
seanl