Blogger robot.txt Ayarları Nasıl Olmalı
Bir blog için "robots.txt" dosyası, arama motorlarının blogunuzda hangi sayfaları tarayıp tarayamayacaklarını belirlediği bir kontrol dosyasıdır. İşte bir blog için doğru robots.txt dosyası ayarları:
1- Ana sayfanızı tarayın:
User-agent: *
Disallow:
2- Yönlendirme sayfalarını engelleyin:
User-agent: *
Disallow: /redirect/
3- Arama sayfalarını engelleyin:
User-agent: *
Disallow: /search/
4- Telif hakkı sayfalarını engelleyin:
User-agent: *
Disallow: /copyright/
5- İçerik üretim sayfalarını engelleyin:
User-agent: *
Disallow: /wp-admin/
Bu örneklerdeki "Disallow" kuralı, belirtilen sayfaları arama motorlarına engeller. "Allow" kuralı ise belirtilen sayfaların indekslenmesine izin verir. Eğer belirli bir dizinin tamamını engellemek istiyorsanız, yalnızca dizinin adını belirtmeniz yeterlidir.
Örnek:
User-agent: *
Disallow: /private/
Bu örnek, "private" adlı dizindeki tüm sayfaların taranmasını engeller.
Hiç yorum yok:
Yorum Gönder