User-agent: *
Allow: /
Allow: /sitemap.htm
Allow: /sitemap.xml
Allow: /robots.txt