Robot.txt

3 comments
Catatan : sedang dalam percarian dulu apa seeh keuntungan dan kerugian/resikonya....semoga bisa cepat diaplikasikan dalam blog ini....

1.
User-agent : * <-- ini berarti aturan yang ditulis ditujukan untuk semua robots dari semua search engine
Dissallow: /config/ <-- ini berarti melarang robots dari semua search engine untuk menelusuri folder config
Dissallow: /admin/ <-- ini berarti melarang robots dari semua search engine untuk menelusuri folder admin


2.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://bloggerblog67.blogspot.com/feeds/posts/default?orderby=UPDATED

3.
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://xplusinfo.blogspot.com/feeds/posts/default?orderby=UPDATED

3 komentar:

Silahkan tinggalkan komentar anda dan saya harap yang sopan !!!