Вот столкнулся с такой проблемкой, может кто подскажет что лучше предпринять.
У меня сайт использует фреймы, минимум 3 - максимум 6. Конечно херово, понимаю, так что не осуждайте, просто так нужно было. Так вот, когда прописываю файл robots.txt, то бишь разграничиваю что индексировать, а что нет, робот все равно индексирует те страницы, которые запрещены для индексации. В итоге, когда идет запрос в поисковой системе, он находит как раз те страницы, которые он не должен находить. Как от этого избавиться.
Звыняйте что масло масляное, но я сегодня глючу.
В файле robots.txt я прописываю примерно следующее:

User-agent:   *
Disallow: /cie.html
Disallow: /left.html

и т.д.

Странно, это должно работать...именно так и блокируется робот

Ну взять хотя бы яндекс - индексирует все подряд, и поскольку по алфавиту cie стоит раньше чем index, то через поиск первым и выдает cie, а это просто оккантовка страницы, в результате чего получается фигня.