Как скачать данные с сайта?
 

Привет, проблема такая. Дано задание - скачать с одного сайта довольно большой объём информации и забить его в таблицу.
Информации очень много и в ручную это сделать проблематично. Структура сайта - ссылки на карточки с подробной информацией которую и надо скачать.
Есть ли программы для автоматизации такого процесса?

как вариант - взять ХТМЛ сайта и прогнать его через JS где на выходе создается необходимая таблица. затем импорт данных в ексель, если надо. ну, скрипт придется писать самому...
алгоритм что-то типо:

elements = element.getElementsByTagName(tagName);
for (i=0;i<elements.length;i++)
{
if (elements[i].id=="filter")
{
ну и тут закидывать подходящие по фильтру ссылки в массив, после чего посещать каждую из них через XMLHttpRequest и обрабатывать полученные response по такому же принципу как отбирали ссылки
}
}

А можно использовать Teleport Pro и скачать все требуемые данные с сохранением структуры сайта, если это необходимо.

Как сделать на PHP скрипт чтоб дела такое получил урл - получил хтмл код страницы - перебрал текст выбрал слова на букву а - записал в базу - получил урл и тд. Список урлов известен, записать в базу сам могу, а вот заполучить в переменную код страницы вот это не знаю.

уже сам нашел $lines = file('http://mysite.ru');

Добрый день,
Если не сложно, поделитесь пожалуйста примером.
Нужно посетить n-ное количество ссылок (известно), найти там нужный текст (в таблице) и скопировать его в строку таблицы в excel либо другой табличный или текстовый формат.