[johnny_palec]

Смотрел, это не то. Я хочу написать бота, который будет делась следующее:

-Тащит корневую страницу
-Составляет список ссылок на внутренние страницы сайта
-Удаляет всё ненужное и индексирует текст
-Идёт по первой ссылке из списка
-Действия повторяются

Таким образом бот обходит весь сайт и составляет его индекс с привязкой к урлу. Поис производится непосредственно в индексной таблице.