Nasıl okunur
- İzinli: bu tarayıcı için kök engellenmemiş.
- Kısmi: bazı yollar engelli; kök açık.
- Engelli: Disallow: / bu tarayıcıya ya da * grubuna uygulanıyor.
- Kural yok: ne özel grup ne * grubu var; tarayıcı her şeyi çekebilir.
- Uyar mı: işletmecinin robots.txt'e uyduğunu belgelediği biliniyor mu (ai.robots.txt topluluk listesi). 'Belirsiz' uymadığı anlamına gelmez.
Eğitim botlarını (GPTBot, ClaudeBot, Google-Extended) engelleyip arama botlarını (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Bingbot) açık bırakmak yaygın bir orta yoldur: içerik eğitime gitmez, ama AI yanıtlarında kaynak gösterilebilirsin. robots.txt bir ricadır; uygulamak için Cloudflare'in AI Crawl Control ya da bot kurallarını kullan.
Engelleme kurallarını üret →