Если коротко о главном, то robots.txt нужен для того, чтобы в индекс ПС, не попадало то, что не нужно.
Например, каждый комментарий на WordPress имеет свою ссылку, и если в робот.тхт не написать условие: Disallow: /*?*
то в индексе может появиться n-ное количество ненужных страниц, вида windows.html?replytocom=1, windows.html?replytocom=2, windows.html?replytocom=2023, что чревато дублирование контента и последующими санкциями со стороны ПС.
В помощи для вебмастеров Яндекс написано: запретите в robots.txt индексирование страниц, неинтересных пользователям. Например, формы ответа на форуме, статистику посещений, страницы с результатами поиска...
З.Ы. Про красную стрелочку слышу впервые.
