robots.txt ve site haritası denetimi
robots.txt
Dosya içeriği
Site haritaları
| Harita | Durum | Tür | URL | lastmod | Boyut | Notlar |
|---|
Nasıl okunur
- robots.txt: bilinmeyen yönergeler yoksayılır; boş User-agent satırı grubu geçersiz kılar; Sitemap satırı motorlara haritayı bulduran en kolay yoldur. Crawl-delay'i Google okumaz. 'Disallow: /' tüm siteyi kapatır.
- Sınırlar: harita başına 50.000 URL ve sıkıştırılmamış 50 MB; aşarsan dizin haritasıyla böl.
- lastmod: yalnızca gerçek değişiklik tarihini yaz; her gün 'bugün' yazan haritaları Google yok sayar.
- HTML döndü: harita adresi bir sayfa döndürüyor (çoğunlukla 200 veren bir 404 sayfası); içerik türü XML olmalı.
- Dizin haritasında en çok 20 çocuk harita ayrı çekilir; URL toplamı bu çocuklardan hesaplanır.