Собиратель ссылок типа sitemap
 

Господа, никто не знает алгоритма собирателя уникальных ссылок с сайта для создания карты сайта? Не хочется выдумывать велосипед, может кто-то делал.

benya
все зависит от того если доступ к движку сайта или нет.

Vlad Drakula,
А зачем нужен доступ? По принципу скачивания страниц целиком наверное... Зашли на страницу, собрали ссылки, выкинули дубликаты и так дальше по очереди... Но вот как...

benya
я просто генерю ракту сайта сразу в момент генерации всего сайта это проще удобнее и быстрее.

Ну я бы так тоже сделал, только вот не знаю как отгенерить все страницы...

интересно у нас тут есть ктонибудь с рамблера, яндекса или апорта?:)

Vlad Drakulaэто как?...
у меня при произношении этого слова странные представления в голове проявляются =)

benya, не знаю как на счет велосипеда, но задача в общем-то довольно простая, чтобы реализовывать ее множеством невелосипедных путей:
1) Регулярным выражением примерного вида (с i модификатором) выдираем ссылки из текста странички. Получам массив строк, являющихся значениями атрибута href всех ссылок.
2) Применяем к массиву функцию array array_unique(array) и получаем массив с убранными повторяющимися ссылками.

По сути это все, разве что будет дополнительные моменты по разбору могущих возникнуть нюансов.

Prisoner, забыл экранировать опасные символы :).

ага, а еще добавить протокол http:

Sham, E-mail, прошу прощения, ваши замечания учитываются моими "примерным" и P.S. соответственно - я не собирался давать полного ответа, это лишнее.

А есть ли программа для создание "карты сайта", находящегося уже в сети?

А почему бы у сети и не спросить?

Prisoner,
А как на счет относительных ссылок типа:
page.html
/page.html
../page.html

В свете какого вопроса? Программы строящей карту или предложенного мной алгоритма?

Prisoner,
Вообще программы строящей карту

Не знаю, benya, этим классом софта я не пользовался.