Blogger robot.txt Ayarları Nasıl Olmalı

Blogger robot.txt Ayarları Nasıl Olmalı

Bir blog için "robots.txt" dosyası, arama motorlarının blogunuzda hangi sayfaları tarayıp tarayamayacaklarını belirlediği bir kontrol dosyasıdır. İşte bir blog için doğru robots.txt dosyası ayarları:

1- Ana sayfanızı tarayın:

User-agent: *

Disallow:

2- Yönlendirme sayfalarını engelleyin:

User-agent: *

Disallow: /redirect/

3- Arama sayfalarını engelleyin:

User-agent: *

Disallow: /search/

4- Telif hakkı sayfalarını engelleyin:

User-agent: *

Disallow: /copyright/

5- İçerik üretim sayfalarını engelleyin:

User-agent: *

Disallow: /wp-admin/

Bu örneklerdeki "Disallow" kuralı, belirtilen sayfaları arama motorlarına engeller. "Allow" kuralı ise belirtilen sayfaların indekslenmesine izin verir. Eğer belirli bir dizinin tamamını engellemek istiyorsanız, yalnızca dizinin adını belirtmeniz yeterlidir.

Örnek:

User-agent: *

Disallow: /private/

Bu örnek, "private" adlı dizindeki tüm sayfaların taranmasını engeller.