Web sitenizin arama motorları tarafından nasıl taranacağını kontrol etmek istiyorsanız, robots.txt dosyası oluşturmanız gerekmektedir. Bu yazıda, robots.txt dosyasının ne olduğunu ve nasıl oluşturulacağını öğreneceksiniz.
Robots.txt Dosyası Nedir?
Robots.txt, bir web sitesinin kök dizininde bulunan bir dosyadır. Bu dosya, Google gibi arama motorlarının web sitenizin hangi bölümlerini tarayabileceğini ve hangi bölümlerini tarayamayacağını belirtir.
Robots.txt Dosyası Nasıl Oluşturulur?
Robots.txt dosyasını oluşturmak için aşağıdaki adımları izleyin:
- Metin düzenleyicinizi açın ve aşağıdaki satırları ekleyin:
User-agent: *
Disallow: /private/- Dosyayı “robots.txt” olarak kaydedin.
- Dosyayı web sitenizin kök dizinine yükleyin.
Bu örnekte, “/private/” dizini tarama işlemine kapalıdır.
Sonuç
Robots.txt dosyası, web sitenizin hangi bölümlerinin arama motorları tarafından taranacağını kontrol etmenizi sağlar. Bu, özel bilgilerinizi korumanıza ve SEO performansınızı optimize etmenize yardımcı olur.
