Robots.txt ile Tarama Kontrolü ve Dinamik Kurallar

Robots.txt, arama motorlarının site tarama davranışını kontrol eder. Örneğin, `User-agent: Googlebot Disallow: /admin/` ile Googlebot’un admin paneline erişimi engellenir. Dinamik kurallar için `Disallow: /search?*` ile sorgu parametreli URL’ler engellenir. `Sitemap: https://example.com/sitemap.xml` ile sitemap belirtilir. Ancak, yanlış kurallar önemli sayfaların indekslenmesini engelleyebilir; Google Search Console ile test yapılmalıdır. `Allow: /public/` gibi izin kuralları, spesifik dizinlere erişim sağlar. Güvenlik için, hassas dizinler (örneğin, /config/) mutlaka engellenmelidir.

Admin - (21.05.2025 18:01:33) ▲ 0