Имя пользователя:
Пароль:  
Помощь | Регистрация | Забыли пароль?  | Правила  

Компьютерный форум OSzone.net » Компьютеры + Интернет » Вебмастеру » Как скачать данные с сайта?

Ответить
Настройки темы
Как скачать данные с сайта?

Новый участник


Сообщения: 1
Благодарности: 0

Профиль | Отправить PM | Цитировать


Привет, проблема такая. Дано задание - скачать с одного сайта довольно большой объём информации и забить его в таблицу.
Информации очень много и в ручную это сделать проблематично. Структура сайта - ссылки на карточки с подробной информацией которую и надо скачать.
Есть ли программы для автоматизации такого процесса?

Отправлено: 23:12, 18-05-2010

 

Аватара для System Failure

Старожил


Сообщения: 175
Благодарности: 15

Профиль | Отправить PM | Цитировать


как вариант - взять ХТМЛ сайта и прогнать его через JS где на выходе создается необходимая таблица. затем импорт данных в ексель, если надо. ну, скрипт придется писать самому...
алгоритм что-то типо:

elements = element.getElementsByTagName(tagName);
for (i=0;i<elements.length;i++)
{
if (elements[i].id=="filter")
{
ну и тут закидывать подходящие по фильтру ссылки в массив, после чего посещать каждую из них через XMLHttpRequest и обрабатывать полученные response по такому же принципу как отбирали ссылки
}
}
Это сообщение посчитали полезным следующие участники:

Отправлено: 23:48, 18-05-2010 | #2



Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.

Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля.


Аватара для Delirium

Ветеран


Сообщения: 5624
Благодарности: 936

Профиль | Отправить PM | Цитировать


А можно использовать Teleport Pro и скачать все требуемые данные с сохранением структуры сайта, если это необходимо.

-------

Пройденные курсы:
[Microsoft №10174 Sharepoint], [SharePoint]
Мои проекты:[CheckAdmins], [NetSend7], [System Uptime], [Remote RAdmin LogViewer],[Netdom GDI], [Holidays - напоминалка о днях рождения]

А я офис-гуру :)


Отправлено: 01:23, 19-05-2010 | #3


Пользователь


Сообщения: 54
Благодарности: 5

Профиль | Отправить PM | Цитировать


Как сделать на PHP скрипт чтоб дела такое получил урл - получил хтмл код страницы - перебрал текст выбрал слова на букву а - записал в базу - получил урл и тд. Список урлов известен, записать в базу сам могу, а вот заполучить в переменную код страницы вот это не знаю.

уже сам нашел $lines = file('http://mysite.ru');

Последний раз редактировалось enikei, 21-05-2010 в 15:27.


Отправлено: 18:49, 20-05-2010 | #4


Новый участник


Сообщения: 5
Благодарности: 0

Профиль | Отправить PM | Цитировать


Добрый день,
Если не сложно, поделитесь пожалуйста примером.
Нужно посетить n-ное количество ссылок (известно), найти там нужный текст (в таблице) и скопировать его в строку таблицы в excel либо другой табличный или текстовый формат.

Отправлено: 08:39, 23-11-2012 | #5



Компьютерный форум OSzone.net » Компьютеры + Интернет » Вебмастеру » Как скачать данные с сайта?

Участник сейчас на форуме Участник сейчас на форуме Участник вне форума Участник вне форума Автор темы Автор темы Шапка темы Сообщение прикреплено

Похожие темы
Название темы Автор Информация о форуме Ответов Последнее сообщение
Как скачать видео с сайта? RooTC Видео и аудио: обработка и кодирование 1 20-02-2010 16:54
Можно ли скачать панораму с сайта? mailfannah Хочу все знать 9 16-07-2009 15:39
Доступ - как скачать флеш-ролик с сайта illusionmgs Microsoft Windows 2000/XP 1 04-06-2008 00:10
Как скачать файл с сайта, если есть только POP3? Yewgeniy Хочу все знать 17 16-11-2006 22:51




 
Переход