[Habetdin]

а зачем нужен кстати робот .тхт »

Исчерпывающая информация об этом файле и его назначении доступна по ссылке из предыдущего поста.

плюс будет, если сделать красную стрелку »

Плюсов ни от красной, ни от серобуромалиновой стрелки в каком-то "фаворе" не знаю

[Master-It]

Если коротко о главном, то robots.txt нужен для того, чтобы в индекс ПС, не попадало то, что не нужно.
Например, каждый комментарий на WordPress имеет свою ссылку, и если в робот.тхт не написать условие: Disallow: /*?*
то в индексе может появиться n-ное количество ненужных страниц, вида windows.html?replytocom=1, windows.html?replytocom=2, windows.html?replytocom=2023, что чревато дублирование контента и последующими санкциями со стороны ПС.
В помощи для вебмастеров Яндекс написано: запретите в robots.txt индексирование страниц, неинтересных пользователям. Например, формы ответа на форуме, статистику посещений, страницы с результатами поиска...
З.Ы. Про красную стрелочку слышу впервые.

[vanoman]

про фавор тут смотрел.
http://www.youtube.com/watch?v=MfsN2u3f9wY
ровно вторая минута 2:00
фавор это фав.икон

[Master-It]

Посмотрел видос, улыбнуло. Автор это сказал немного в утрированной форме, главное требование от Яндекса - это уникальность и полезность материалов, которые представлены на сайте.
К картинкам (фавикону) это тоже относиться, поэтому их лучше не копировать в интернете а создавать самостоятельно (сделать скриншон, или обратить горизонтально в фотошопе, наложить пару масок) а потом проверить уникальность своей картинки в сервисе http://www.tineye.com/. Тоже самое касается и фавикона, т. е. он должен быть уникальным, можно и со стрелочкой, это будет привлекать внимание пользователей.
Ведь паук он прочитал изображение, (текст страницы), сравнил со своей базой, если такого нет, то отлично, а если есть значит очередной копипаст, включаются другие алгоритмы, а стрелочка там или что еще, ему вообще до фени. (Это чисто мое предположение работы алгоритмов поисковых ботов, а как на самом деле знают только разработчики Яндекса)