Robots.txt ile Dinamik İçerik ve Parametre Yönetimi

Dinamik içerikli sitelerde (örneğin, e-ticaret filtreleri) robots.txt, gereksiz parametreleri engeller. Örneğin, `Disallow: /*?sort=*` sıralama parametrelerini hariç tutar. Google Search Console’un URL Parametreleri aracıyla parametreler yapılandırılır. Ancak, yanlış engelleme ürün sayfalarını etkileyebilir; `Allow` kurallarıyla denge sağlanmalıdır. Test için `wget --spider` ile bot davranışı simüle edilir. Robots.txt, yalnızca tarama kontrolü sağlar; indeksleme için `noindex` meta etiketi kullanılmalıdır.

Admin - (21.05.2025 18:01:33) ▲ 0