Robot.txt İndexleme Ayarı Kullanımı

Önceden seo çalışmaları hakkında yorumlar yapmıştık. Şimdi seo olarak bu konuda önemli yer tutan "robot.txt" ve robot ayarlarını nasıl yapacağımızı konuşacağız. "robot.txt" hangi sayfalar indexlensin hangi sayfalar indexlenmesin ayarıdır. Ve böyle yapılır;

User-agent: * 
Disallow: /search?q=* 
Disallow: /*?updated-max=* 
                                                      Allow: / 
                                                      Sitemap: http://www.blogisminiz.com/feeds/posts/default?                                                               orderby=updated

Burada "user_agent" browserları belli ediyor ve "*" hepsi anlamına geliyor. "Disallow" indexlenmiyecek dosyaları gösterir. "Allow" ise indexlenecek dosyaları gösterir. "/" işareti ise hepsi anlmına gelir. "Sitemap" kullanılan yerdir. Bu standart olandır. Bunu kullanabilirsiniz.