makatuk, в вашем случае будет достаточно разрешить всем ботам (User-agent: *) сканировать весь сайт (Allow: /), указать главное зеркало для Яндекса и добавить карту сайта sitemap.xml.
В итоге вот этого кода для вашего сайта будет достаточно:
Код:
User-agent: *
Allow: /
Host: www.optimanerud.com
Sitemap: http://www.optimanerud.com/sitemap.xml
Все остальное нужно удалить, после этого проверьте robots.txt в валидаторе.
Если на сайте есть админка, или другая папка, сценарий (html или Php страница) и вы не хотите, чтобы роботы их индексировали, то добавьте в роботс инструкцию:
Disallow: /папка/
Disallow: /страница.html
