Robots.txt’de Wildcard Kullanımı ve Hata Önleme

Tanım

Robots.txt’de wildcard’lar (*, $) belirli URL desenlerini hedefler. Örneğin, `Disallow: /*.pdf$` tüm PDF dosyalarını engeller. `User-agent: * Disallow: /private/*` ile tüm botlar için bir dizin engellenir. Ancak, yanlış wildcard kullanımı (örneğin, `Disallow: /*`) tüm siteyi engelleyebilir; Googlebot’un `robots.txt` test aracıyla doğrulama yapılmalıdır. Spesifik botlar için ayrı kurallar (örneğin, `User-agent: Bingbot`) tanımlanabilir. Performans için, robots.txt boyutu 500 KB’ı aşmamalı ve sıkıştırılmalıdır (örneğin, gzip).