|
Компьютерный форум OSzone.net » Компьютеры + Интернет » Вебмастеру » Как скачать данные с сайта? |
|
Как скачать данные с сайта?
|
Новый участник Сообщения: 1 |
Профиль | Отправить PM | Цитировать Привет, проблема такая. Дано задание - скачать с одного сайта довольно большой объём информации и забить его в таблицу.
Информации очень много и в ручную это сделать проблематично. Структура сайта - ссылки на карточки с подробной информацией которую и надо скачать. Есть ли программы для автоматизации такого процесса? |
|
Отправлено: 23:12, 18-05-2010 |
Старожил Сообщения: 175
|
Профиль | Отправить PM | Цитировать как вариант - взять ХТМЛ сайта и прогнать его через JS где на выходе создается необходимая таблица. затем импорт данных в ексель, если надо. ну, скрипт придется писать самому...
алгоритм что-то типо: elements = element.getElementsByTagName(tagName); for (i=0;i<elements.length;i++) { if (elements[i].id=="filter") { ну и тут закидывать подходящие по фильтру ссылки в массив, после чего посещать каждую из них через XMLHttpRequest и обрабатывать полученные response по такому же принципу как отбирали ссылки } } |
Отправлено: 23:48, 18-05-2010 | #2 |
Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети. Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля. |
Ветеран Сообщения: 5624
|
Профиль | Отправить PM | Цитировать А можно использовать Teleport Pro и скачать все требуемые данные с сохранением структуры сайта, если это необходимо.
|
------- Отправлено: 01:23, 19-05-2010 | #3 |
Пользователь Сообщения: 54
|
Профиль | Отправить PM | Цитировать Как сделать на PHP скрипт чтоб дела такое получил урл - получил хтмл код страницы - перебрал текст выбрал слова на букву а - записал в базу - получил урл и тд. Список урлов известен, записать в базу сам могу, а вот заполучить в переменную код страницы вот это не знаю.
уже сам нашел $lines = file('http://mysite.ru'); |
Последний раз редактировалось enikei, 21-05-2010 в 15:27. Отправлено: 18:49, 20-05-2010 | #4 |
Новый участник Сообщения: 5
|
Профиль | Отправить PM | Цитировать Добрый день,
Если не сложно, поделитесь пожалуйста примером. Нужно посетить n-ное количество ссылок (известно), найти там нужный текст (в таблице) и скопировать его в строку таблицы в excel либо другой табличный или текстовый формат. |
|
Отправлено: 08:39, 23-11-2012 | #5 |
Участник сейчас на форуме | Участник вне форума | Автор темы | Сообщение прикреплено |
| |||||
Название темы | Автор | Информация о форуме | Ответов | Последнее сообщение | |
Как скачать видео с сайта? | RooTC | Видео и аудио: обработка и кодирование | 1 | 20-02-2010 16:54 | |
Можно ли скачать панораму с сайта? | mailfannah | Хочу все знать | 9 | 16-07-2009 15:39 | |
Доступ - как скачать флеш-ролик с сайта | illusionmgs | Microsoft Windows 2000/XP | 1 | 04-06-2008 00:10 | |
Как скачать файл с сайта, если есть только POP3? | Yewgeniy | Хочу все знать | 17 | 16-11-2006 22:51 |
|