Robots.txt ve Sitemap Kontrolü
robots.txt dosyanızı ve sitemap'inizi denetleyin: Google, Bing, ChatGPT, Claude, Perplexity ve Gemini botları sitenize girebiliyor mu, sitemap kaç adres listeliyor.
Ne işe yarar?
robots.txt, arama ve yapay zekâ botlarına sitenin hangi bölümlerine girebileceklerini söyleyen dosyadır. Sitemap ise sitenin bütün önemli sayfalarının listesidir.
Araç robots.txt'yi Google'ın kurallarıyla okur, on bir botun ana sayfaya girip giremediğini gösterir ve bildirilen sitemap'i açıp adresleri sayar.
Sonuç nasıl okunur?
- Googlebot ana sayfaya giremiyorsa site arama sonuçlarından düşer; bu en kritik hatadır.
- GPTBot ya da ClaudeBot'u engellemek bir tercihtir; engellenen asistan sitenizi kaynak gösteremez.
- Sitemap robots.txt'de bildirilmeli: "Sitemap: https://ornek.com/sitemap.xml".
Sık sorulanlar
robots.txt bir sayfayı Google'dan gizler mi?
Hayır, yalnız taranmasını engeller. Başka sitelerden bağlantı alan bir sayfa yine de dizinde görünebilir. Gizlemek için sayfaya "noindex" konmalı.