makatuk, у вас в robots.txt совершенно не те данные, которые нужны. Это данные sitemap.xml, что-то вы перепутали.
Пример роботс.тхт:
Код:
User-agent: *
#Для всех роботов
Allow: /страница.html
#Разрешает сканировать страницу
Disallow: /папка/
#Закрывает от индексации директорию папка
Disallow: /администратор.html
#Закрывает от индексации страницу администратор.html
Синтаксис и правила составления robots.txt смотрите
здесь.
