|
Компьютерный форум OSzone.net » Компьютеры + Интернет » Вебмастеру » [решено] Парсинг страницы с редиректом (PHP) |
|
[решено] Парсинг страницы с редиректом (PHP)
|
Новый участник Сообщения: 44 |
Профиль | Отправить PM | Цитировать
Здравствуйте.
Мне тут дали такое задание: С сайта elibrary.ru нужно сдёрнуть список с фамилиями сотрудников универа, а затем сделать по ним поиск на сайте самого вуза и в итоге собрать по ним суммарную инфу. Все конечно можно вручную сделать, всего то около 100 человек Но что-то, меня, как немного ленивому айтишнику, такая перспектива не устраивает. С учетом, что собранную статистику после еще обновлять скорей всего придется и думаю не раз. По этому и решил сразу написать скрипт по автоматизации этого дела. Парсинг самих страниц и поиск по найденному уже почти сделал. Но парсинг первого сайта пока работает только по уже скаченным вручную страницам, заставить его самого их качать ни как не получается. Пробовал получить страницу через curl
А в результате получаю: Цитата:
Вообще данные которые мне нужны находятся тут... А вот как их от туда вытащить не знаю, с учетом, что на страницу методом POST еще нужно параметры передавать. Буду очень признателен, за оказанную помощь |
||
Отправлено: 18:48, 15-03-2012 |
Новый участник Сообщения: 44
|
Профиль | Отправить PM | Цитировать Сам нашел причину.
Кукис нужно сохранить Но, все равно не получилось, что хотел. Сниффером перехватил запрос, который передается при нажатии кнопки Поиска. И попробовал его также передать... но толку ни какого.
В результате, поля поиска не заполняются, и выводиться пустая форма... |
Отправлено: 19:49, 15-03-2012 | #2 |
Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети. Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля. |
Deadooshka Сообщения: 2517
|
Профиль | Отправить PM | Цитировать Да, там бесконечный редирект. Вроде бы если не шлются кукисы, или неправильные кукисы.
Цитата Luzuk:
Сам пост-запрос можно отловить в браузере (каким-нть livehttpheaders в FF), или посмотреть хтмл формы (атрибуты name контролов) см. CURLOPT_POST и CURLOPT_POSTFIELDS |
|
Отправлено: 19:54, 15-03-2012 | #3 |
Новый участник Сообщения: 44
|
Профиль | Отправить PM | Цитировать Все заработало. Оказалось, что если указывать не верный идентификатор браузера, форма не возвращается.
указан был фаерфокс, а я тестил через хром и ИЕ6. Поставил USERAGENT Интернет Эксплорера 6го и в нем все заработало. В итоге просто закоментил указание USERAGENT и все заработало в обоих браузерах. Вот конечный вариант функции для пост запроса через прокси:
|
Отправлено: 18:06, 16-03-2012 | #4 |
Участник сейчас на форуме | Участник вне форума | Автор темы | Сообщение прикреплено |
| |||||
Название темы | Автор | Информация о форуме | Ответов | Последнее сообщение | |
php способы получить данные со страницы в инете | enikei | Вебмастеру | 2 | 13-10-2010 04:54 | |
Нужна помощь с PHP редиректом | blacks2 | Вебмастеру | 5 | 11-12-2009 21:50 | |
[решено] Парсинг php файла | Shym | Вебмастеру | 2 | 15-11-2009 02:30 | |
[решено] подставлять значения в зависимости от открытой страницы PhP | binders | Вебмастеру | 11 | 05-10-2009 00:53 | |
Php разделение на страницы с картинками | Maloy clickonline | Вебмастеру | 10 | 14-01-2005 23:08 |
|