Robots.txt ile Bot-Spesifik Kurallar ve Performans

Tanım

Robots.txt’de bot-spesifik kurallar, farklı arama motorlarına özelleştirilir. Örneğin, `User-agent: Googlebot-Image Disallow: /images/private/` ile yalnızca Google Görseller engellenir. `Crawl-delay: 10` ile tarama sıklığı sınırlandırılır (saniyede 0.1 istek). Ancak, bazı botlar crawl-delay’i dikkate almaz; sunucu tarafı rate limiting önerilir. Yanlış kurallar, SEO’yu olumsuz etkileyebilir; `robots.txt` test araçlarıyla (örneğin, Bing Webmaster Tools) doğrulanmalıdır. Dosya boyutu küçük tutulmalı ve yorum satırları (`#`) kullanılmalıdır.