[Master-It]

makatuk, у вас в robots.txt совершенно не те данные, которые нужны. Это данные sitemap.xml, что-то вы перепутали.
Пример роботс.тхт:

Код:

User-agent: *
 #Для всех роботов
Allow: /страница.html
 #Разрешает сканировать страницу
Disallow: /папка/
 #Закрывает от индексации директорию папка
Disallow: /администратор.html
 #Закрывает от индексации страницу администратор.html

Синтаксис и правила составления robots.txt смотрите здесь.

[makatuk]

в robots.txt совершенно не те данные »

подскажите что нужно прописать в строках которые у Вас указаны на русском языке?
я не программист,сайт делал через конструктор WebSite X5 Evolution 11,сейчас хочу его оптимизировать

[Master-It]

makatuk, в вашем случае будет достаточно разрешить всем ботам (User-agent: *) сканировать весь сайт (Allow: /), указать главное зеркало для Яндекса и добавить карту сайта sitemap.xml.
В итоге вот этого кода для вашего сайта будет достаточно:

Код:

User-agent: *
Allow: /
Host: www.optimanerud.com
Sitemap: http://www.optimanerud.com/sitemap.xml

Все остальное нужно удалить, после этого проверьте robots.txt в валидаторе.

Если на сайте есть админка, или другая папка, сценарий (html или Php страница) и вы не хотите, чтобы роботы их индексировали, то добавьте в роботс инструкцию:
Disallow: /папка/
Disallow: /страница.html

[makatuk]

User-agent: * Allow: / Host: www.optimanerud.com Sitemap: http://www.optimanerud.com/sitemap.xml »

премного благодарен за ответ !