Имя пользователя:
Пароль:  
Помощь | Регистрация | Забыли пароль?  | Правила  

Компьютерный форум OSzone.net » Компьютеры + Интернет » Вебмастеру » Скрипт для скачивания сайта

Ответить
Настройки темы
Скрипт для скачивания сайта

Аватара для Plutonium 239

Radio-active


Сообщения: 1406
Благодарности: 44


Конфигурация

Профиль | Отправить PM | Цитировать


Всем здравствуйте!
Мне нужно сделать PHP скрипт который бы заходил на сайт вводил логин и пароль, используя форму для поиска осуществлял поиск и скачивал бы результаты поиска к себе.
Вот только даже не знаю с чего начать. Как сделать что-то вроде имитации захода пользователя на сайт?

Отправлено: 23:39, 15-10-2006

 

Аватара для Prisoner

Engrossed by the Void


Сообщения: 2229
Благодарности: 60

Профиль | Отправить PM | Цитировать


1) скрипт скаченные странички архивировал
2) отправлял на заданный email
3) развернуто и доступно

Примерно так .

-------
Не могу дать более дельный совет - не хватает системных ресурсов...


Отправлено: 18:01, 23-10-2006 | #11



Для отключения данного рекламного блока вам необходимо зарегистрироваться или войти с учетной записью социальной сети.

Если же вы забыли свой пароль на форуме, то воспользуйтесь данной ссылкой для восстановления пароля.


Аватара для Plutonium 239

Radio-active


Сообщения: 1406
Благодарности: 44

Профиль | Отправить PM | Цитировать


Prisoner
Цитата:
скрипт скаченные странички архивировал
Я так понял, это библиотека которую надо компилировать с php, а у меня такой возможности нет
Цитата:
отправлял на заданный email
не очень понял буду завтра разбираться
Цитата:
развернуто и доступно
Вот только я английский не в совершенстве знаю к сожалению
Может какаю книжка хорошая есть?
А можно вообще книги в интернет магазинах покупать? там не кидают?

Отправлено: 19:10, 23-10-2006 | #12


Ветеран


Сообщения: 1404
Благодарности: 135

Профиль | Отправить PM | Цитировать


Цитата:
Все нормально страничка скачатвается, разбирается на ссылки, но вот тольок я сталкнулся с такой проблемой, когда перехожу по ссылке просят ввсести код с картинки вместо нужной странички.
Есть ли какой-нибудь способ это обойти?
написать собственный анализатор картинки. это очень сложно для непрофессионала

Цитата:
И кстати, где можно почитать про PCRE регулярные выражения в PHP мануал я уже прочитал, хотелось бы более развернуто и доступно
Хороший обзор регулярных выражений для новичков дается в книге Learning Perl (недавно была ссылка в разделе Программирование, в теме про perl). Несмотря на то, что эта книга рассматривает perl, описание регулярных выражений можно перенести на php.

Цитата:
вот еще такой вопрос, можно ли сделать так, чтобы скрипт скаченные странички архивировал и отправлял на заданный email?
1 часть задачи: натравить любой консольный архиватор на файлы/файл.
Например,
PHP код: Выделить весь код

system("rar a test.rar C:/perl/js"

Параметры rar
a - упаковка
test.rar - как будет назван архив
С:/perl/php - то, что пакуется. думаю, что в пути следует избегать пробелов.
Rar.exe по умолчанию идет в составе Winrar, лучше поместить rar.exe в директорию со скриптом.

2 часть задачи: создание и отправка письма с аттачем. думаю, нужно юзать миме

PHP код: Выделить весь код

<?php

require 'Mail.php';
require 
'Mail/mime.php';

system("rar a test.rar C:/perl/js");

$to '***@***';
$headers['From'] = '***@***'
$headers['Subject'] = 'Test!';
// create MIME object
$mime = new Mail_mime;
// add body parts
$file 'test.rar';
$mime->addAttachment($file'application/octet-stream');
// get MIME formatted message headers and body
$headers $mime->headers($headers);
$body $mime->get();
Mail::send($to$headers$body); 
//не работает указанное в книге
//$message =& Mail::factory('mail');
//$message->send($to, $headers, $body);
?>

для работы кода нужен локальный мейл сервер и mime.php http://download.pear.php.net/package...Mime-1.3.1.tgz
. Код работает, пакует и отправляет, но есть большой недостаток: при просмотре в Outlooke аттач не показывается нормально, выводится не раскодированный миме.

-------
Ehhh.. what's up, doc?..


Отправлено: 20:22, 23-10-2006 | #13


Ветеран


Сообщения: 1404
Благодарности: 135

Профиль | Отправить PM | Цитировать


Короче. Вот такой рабочий на 90% код:
Аттач в Outlooke нормально показывается.
PHP код: Выделить весь код

<?php 

$eol
="\r\n";
system("rar a test.rar C:/perl/js");
    
# File for Attachment 
$letter="test.rar";
$f_name="test.rar";    // use relative path OR ELSE big headaches. $letter is my file for attaching. 
$handle=fopen($f_name'rb'); 
$f_contents=fread($handlefilesize($f_name)); 
$f_contents=chunk_split(base64_encode($f_contents));    //Encode The Data For Transition using base64_encode(); 
$f_type=filetype($f_name); 
fclose($handle); 
# To Email Address 
$emailaddress="***@***"
# Message Subject 
$emailsubject="Heres An Email with a rar".date("Y/m/d H:i:s"); 
# Message Body 

# Common Headers 
$headers .= 'From: Test <***@***>'.$eol
$headers .= 'Reply-To: Test <***@***>'.$eol
$headers .= 'Return-Path: Test <***@***>'.$eol;    // these two to set reply address 
$headers .= "Message-ID: <".$now." TheSystem@".$_SERVER['SERVER_NAME'].">".$eol
$headers .= "X-Mailer: PHP v".phpversion().$eol;          // These two to help avoid spam-filters 
# Boundry for marking the split & Multitype Headers 
$mime_boundary=md5(time()); 
$headers .= 'MIME-Version: 1.0'.$eol
$headers .= "Content-Type: multipart/related; boundary=\"".$mime_boundary."\"".$eol
$msg ""

# Attachment 
$msg .= "--".$mime_boundary.$eol
$msg .= "Content-Type: application/octet-stream; name=\"".$letter."\"".$eol;  // sometimes i have to send MS Word, use 'msword' instead of 'pdf' 
$msg .= "Content-Transfer-Encoding: base64".$eol
$msg .= "Content-Disposition: attachment; filename=\"".$letter."\"".$eol.$eol// !! This line needs TWO end of lines !! IMPORTANT !! 
$msg .= $f_contents.$eol.$eol
# Setup for text OR html 
$msg .= "Content-Type: multipart/alternative".$eol

# Text Version 
$msg .= "--".$mime_boundary.$eol
$msg .= "Content-Type: text/plain; charset=iso-8859-1".$eol
$msg .= "Content-Transfer-Encoding: 8bit".$eol
$msg .= "This is a multi-part message in MIME format.".$eol
$msg .= "If you are reading this, please update your email-reading-software.".$eol
$msg .= "+ + Text Only Email  + +".$eol.$eol

# HTML Version 
$msg .= "--".$mime_boundary.$eol
$msg .= "Content-Type: text/html; charset=iso-8859-1".$eol
$msg .= "Content-Transfer-Encoding: 8bit".$eol
$msg .= $body.$eol.$eol

# Finished 
$msg .= "--".$mime_boundary."--".$eol.$eol;  // finish with two eol's for better security. see Injection. 

# SEND THE EMAIL 
ini_set(sendmail_from,'***@***');  // the INI lines are to force the From Address to be used ! 
  
mail($emailaddress$emailsubject$msg$headers); 
ini_restore(sendmail_from); 
?>

-------
Ehhh.. what's up, doc?..


Отправлено: 20:43, 23-10-2006 | #14


Ветеран


Сообщения: 1862
Благодарности: 132

Профиль | Сайт | Отправить PM | Цитировать


http://www.ilovejackdaniels.com/regu...heat_sheet.png
http://phpclub.ru/detail/article/simple_regular
http://phpclub.ru/detail/article/regexp_1
http://phpclub.ru/detail/article/regexp_2

Для сжатия - http://ru2.php.net/manual/ru/ref.zlib.php - не подойдет?

-------
ДИЛЕТАНТ - это курьезный человек, который испытывает удовольствие делать то, чего не умеет.
AMD 4200+, MSI Neo2Platinum, 2Gb, ATI 9600, D-Link DWL-G510, FreeBSD 8.0, KDE 4.3.4


Отправлено: 22:16, 23-10-2006 | #15


Аватара для Prisoner

Engrossed by the Void


Сообщения: 2229
Благодарности: 60

Профиль | Отправить PM | Цитировать


Цитата Plutonium 239:
Я так понял, это библиотека которую надо компилировать с php, а у меня такой возможности нет
Имхо, нет. Я юзал без перекомпиляции .
Igor_I, zLib как раз и требует компиляции с php.

-------
Не могу дать более дельный совет - не хватает системных ресурсов...


Отправлено: 12:39, 24-10-2006 | #16


Аватара для Plutonium 239

Radio-active


Сообщения: 1406
Благодарности: 44

Профиль | Отправить PM | Цитировать


Prisoner
Цитата:
Имхо, нет. Я юзал без перекомпиляции
Просто сайт на хостинге, а там этоой библиотеки нет, и установить ее, я думаю, не дадут.
Igor_I
Спасибо, почитаю!
У меня была такая шпаргалка по CSS, только я не знал откуда она, а там их еще много
mrcnn
Цитата:
Короче. Вот такой рабочий на 90% код:
Аттач в Outlooke нормально показывается.
Спасибо, сейчас буду тестить

Отправлено: 15:06, 24-10-2006 | #17


Аватара для Prisoner

Engrossed by the Void


Сообщения: 2229
Благодарности: 60

Профиль | Отправить PM | Цитировать


Plutonium 239, библиотека эта на php и по сути представляет собой набор php-файлов. Надо лишь аплоадить их на сервер и верно использовать.

-------
Не могу дать более дельный совет - не хватает системных ресурсов...


Отправлено: 15:36, 24-10-2006 | #18


Аватара для Plutonium 239

Radio-active


Сообщения: 1406
Благодарности: 44

Профиль | Отправить PM | Цитировать


Prisoner
Цитата:
библиотека эта на php и по сути представляет собой набор php-файлов. Надо лишь аплоадить их на сервер и верно использовать.
А, ну тогда подойдет, буду тестить
Цитата:
написать собственный анализатор картинки. это очень сложно для непрофессионала
А такой скрипт готовый достать нельзя?

И во еще вопрос.
Есть php файл в котором в начале устанавливаются переменные вида:
PHP код: Выделить весь код

$tr1[] = "текст";

$tr1[] = "другой текст";
....
$dp1[] = "еще текст";
.... 
и т.д

Их очень много, и постоянно нужно добавлять еще несколько. Я вот решил их вынести в отдельный файл, что-то вроде xml (насколько я знаю, что такое xml, конечно )
Т.е. файл типа:
HTML код: Выделить весь код
<param name="tr1">текст</param> ... <param name="tr1">другой текст</param> ... <param name="dp1">еще текст</param>

Сделал скрипт для преобразования, и вот подумал, а целесообразно ли это вообще?
Может есть способ лучше? Нужно чтобы скрипт при работе все эти данные загружал в многомерный массив, а после окончания записывал обратно, т.е. чтобы можно было добавлять и удалать переменные. Что здесь лучше использовать, подскажите?

Отправлено: 17:33, 24-10-2006 | #19


Аватара для Prisoner

Engrossed by the Void


Сообщения: 2229
Благодарности: 60

Профиль | Отправить PM | Цитировать


Цитата:
А такой скрипт готовый достать нельзя?
Не знаю на счет готовых скриптов, но поиск с применением ключевого слова CAPTCHA (это и есть картинка с буковками, точнее механизм частью которого есть картинка с буковками) может привести как к механизмам генерирования CAPTCHA, так и их распознования. Статей довольно много.
Цитата:
Может есть способ лучше?
Да, в данном случае, пожалуй, проще будет использовать file().

-------
Не могу дать более дельный совет - не хватает системных ресурсов...


Отправлено: 01:06, 25-10-2006 | #20



Компьютерный форум OSzone.net » Компьютеры + Интернет » Вебмастеру » Скрипт для скачивания сайта

Участник сейчас на форуме Участник сейчас на форуме Участник вне форума Участник вне форума Автор темы Автор темы Шапка темы Сообщение прикреплено

Похожие темы
Название темы Автор Информация о форуме Ответов Последнее сообщение
Интернет - Программа для скачивания сайта Evgesha_572 Программное обеспечение Windows 7 17-02-2012 10:12
нужен скрипт для добавления сайта в избранное и сделать его стартовой страницей Denis Shutka Вебмастеру 2 30-01-2005 11:03
Есть каккая-нить прога для скачивания всех рисунков с сайта? Guest Хочу все знать 9 27-05-2004 09:09
Ссылки на файлы для скачивания pauluss Вебмастеру 3 06-03-2004 18:25
Программа для скачивания сайтов Asiona Хочу все знать 3 29-11-2003 04:18




 
Переход