|
|
|
|
| Компьютерный форум OSzone.net » Программирование, базы данных и автоматизация действий » Скриптовые языки администрирования Windows » Любой язык - [решено] wget команда не закачивает файл по ссылке |
|
|
Любой язык - [решено] wget команда не закачивает файл по ссылке
|
|
Старожил Сообщения: 239 |
добрый день. хотел закачать файл .csv по ссылке через wget команду. команда такая: c:\wget\wget.exe -i c:\url-list.txt --secure-protocol=auto -nc -c -P c:\files\ . выходит такое сообщение
Скрытый текст
HTML код:
какая причина не пойму, так как мало в этом разбираюсь. есть момент что эсли эту ссылку на яхоо вставить в браузер IE, то загрузка не происходит. если же вставить в браузер гугл хром, то без лишних диалогов закачивает на ура. хотелось бы закачать через wget. не могли бы помочь найти проблему. или есть другие варианты для скачивания нескольких файлов по списку |
|
|
Отправлено: 18:44, 29-06-2019 |
|
SHVtYW4= Сообщения: 3451
|
Профиль | Отправить PM | Цитировать Цитата v79italya:
Код:
--load-cookies=ФАЙЛ |
|
|
------- Отправлено: 19:10, 29-06-2019 | #2 |
|
Старожил Сообщения: 239
|
Профиль | Отправить PM | Цитировать Цитата Nordek:
не работает. я очень плохо в этом разбираюсь попробовал так - c:\wget\wget.exe --load-cookies=https://query1.finance.yahoo.com/v7/finance/download/AAU?period1=1530282224&period2=1561818224&interval=1d&events=history&crumb=lW3nnVK.6HD - тоже не работает |
|
|
Отправлено: 19:58, 29-06-2019 | #3 |
|
Ветеран Сообщения: 27449
|
Профиль | Отправить PM | Цитировать v79italya, явным же образом написано:
Цитата v79italya:
|
|
|
Отправлено: 20:46, 29-06-2019 | #4 |
|
Старожил Сообщения: 239
|
Профиль | Отправить PM | Цитировать как в коде прописать Username/Password. я уже все пробовал из того, что нагуглил.
есть ли возможность прописать в коде использование браузера гугл хром? может из за этого не работает |
|
|
Отправлено: 20:59, 29-06-2019 | #5 |
|
SHVtYW4= Сообщения: 3451
|
Профиль | Отправить PM | Цитировать v79italya, Вы не поняли. Вам нужно сохранить Cookie в файл, затем посунуть wget'у.
Пример: Код:
wget.exe -с "https://query1.finance.yahoo.com/v7/finance/download/AAU?period1=" --load-cookies=C:\mycookies.txt Или или или: Код:
wget.exe "Ссылка" --user=ПОЛЬЗОВАТЕЛЬ --password=ПАРОЛЬ Код:
wget.exe "Ссылка" --http-user= ПОЛЬЗОВАТЕЛЬ --http-password=ПАРОЛЬ Код:
wget.exe "Ссылка" --ftp-user=ПОЛЬЗОВАТЕЛЬ --ftp-password=ПАРОЛЬ Скрытый текст
Код:
Использование: wget [ПАРАМЕТР]... [url]...
Обязательные аргументы для длинных параметров являются обязательными и для коротких параметров.
Запуск:
-V, --version показать версию Wget и завершить работу
-h, --help показать эту справку
-b, --background после запуска перейти в фоновый режим
-e, --execute=КОМАНДА выполнить команду в стиле «.wgetrc»
Журналирование и входной файл:
-o, --output-file=ФАЙЛ записывать сообщения в ФАЙЛ
-a, --append-output=ФАЙЛ дописывать сообщения в конец ФАЙЛА
-d, --debug показать много отладочной информации
-q, --quiet ничего не выводить
-v, --verbose показывать подробные сведения (по умолчанию)
-nv, --no-verbose отключить вывод подробных сведений (не полностью)
--report-speed=ТИП единицы измерения пропускной способности
определить ТИПОМ. ТИП может быть равно bits
-i, --input-file=ФАЙЛ загрузить URL-ы согласно локальному
или внешнему ФАЙЛУ
-F, --force-html считать, что входной файл — HTML
-B, --base=URL считать, что ссылки из входного файла (-i -F)
указаны относительно URL
--config=ФАЙЛ задать файл настроек
--no-config не читать файлы настроек
--rejected-log=ФАЙЛ протоколировать причины отброса URL в ФАЙЛ
Загрузка:
-t, --tries=ЧИСЛО установить ЧИСЛО повторных попыток
(0 без ограничения)
--retry-connrefused повторять, даже если в подключении отказано
--retry-on-http-error=ОШИБКИ
список (через запятую) ошибок HTTP,
вызывающих повтор
-O, --output-document=ФАЙЛ записывать документы в ФАЙЛ
-nc, --no-clobber пропускать загрузки, которые приведут к
загрузке уже существующих файлов
(и их перезаписи)
--no-netrc не пытаться получить данные из .netrc
-c, --continue возобновить загрузку частично загруженного
файла
--start-pos=СМЕЩЕНИЕ начинать загрузку со СМЕЩЕНИЯ (считается с 0)
--progress=ТИП выбрать тип индикатора выполнения
--show-progress показывать индикатор выполнения в любом
режиме подробности
-N, --timestamping не загружать повторно файлы, только если они
не новее, чем локальные
--no-use-server-timestamps не использовать проверку
if-modified-since для запросов в режиме учёта
меток времени
--no-use-server-timestamps не устанавливать метку времени локальному
файлу, полученную с сервера
-S, --server-response вывод ответа сервера
--spider ничего не загружать
-T, --timeout=СЕКУНДЫ установка значений всех тайм-аутов равными
числу СЕКУНД
--dns-timeout=СЕК установка тайм-аута поиска в DNS в СЕК
--connect-timeout=СЕК установка тайм-аута подключения в СЕК
--read-timeout=СЕК установка тайм-аута чтения в СЕК
-w, --wait=СЕКУНДЫ пауза в СЕКУНДАХ между загрузками
--waitretry=СЕКУНДЫ пауза в 1..СЕКУНДЫ между повторными
попытками загрузки
--random-wait пауза в 0.5*WAIT...1.5*WAIT секунд
между загрузками
--no-proxy явно выключить прокси
-Q, --quota=ЧИСЛО установить величину квоты загрузки в ЧИСЛО
--bind-address=АДРЕС привязать АДРЕС (имя компьютера или IP)
локального компьютера
--limit-rate=СКОРОСТЬ ограничить СКОРОСТЬ загрузки
--no-dns-cache отключить кэширование DNS-запросов
--restrict-file-names=ОС использовать в именах файлов символы,
допустимые в ОС
--ignore-case игнорировать регистр при сопоставлении
файлов и/или каталогов
-4, --inet4-only подключаться только к адресам IPv4
-6, --inet6-only подключаться только к адресам IPv6
--prefer-family=СЕМЕЙСТВО подключаться сначала к адресам указанного
семейства (может быть IPv6, IPv4 или ничего)
--user=ПОЛЬЗОВАТЕЛЬ установить и ftp- и http-пользователя в
ПОЛЬЗОВАТЕЛЬ
--password=ПАРОЛЬ установить ftp- и http-пароль в ПАРОЛЬ
--ask-password запрашивать пароли
--use-askpass=КОМАНДА указать обработчик мандатов для запроса
имени пользователя и пароля. Если
КОМАНДА не указана, то используется
переменная окружения WGET_ASKPASS
или SSH_ASKPASS.
--no-iri выключить поддержку IRI
--local-encoding=КДР использовать КДР как локальную кодировку
для IRI
--remote-encoding=КДР использовать КДР как удалённую кодировку
по умолчанию
--unlink удалить файл перед затиранием
--xattr turn on storage of metadata in extended file attributes
Каталоги:
-nd, --no-directories не создавать каталоги
-x, --force-directories принудительно создавать каталоги
-nH, --no-host-directories не создавать каталоги как на узле
--protocol-directories использовать имя протокола в каталогах
-P, --directory-prefix=ПРЕФИКС сохранять файлы в ПРЕФИКС/..
--cut-dirs=ЧИСЛО игнорировать ЧИСЛО компонентов удалённого
каталога
Параметры HTTP:
--http-user=ПОЛЬЗОВ. установить http-пользователя в ПОЛЬЗОВАТЕЛЬ
--http-password=ПАРОЛЬ установить http-пароль в ПАРОЛЬ
--no-cache отвергать кэшированные сервером данные
--default-page=ИМЯ изменить имя страницы по умолчанию (обычно
это «index.html»)
-E, --adjust-extension сохранять документы HTML/CSS с надлежащими
расширениями
--ignore-length игнорировать поле заголовка «Content-Length»
--header=СТРОКА вставить СТРОКУ между заголовками
--compression=ТИП тип сжатия: auto, gzip или none
(по умолчанию: none)
--max-redirect максимально допустимое число перенаправлений
на страницу
--proxy-user=ПОЛЬЗОВ. установить ПОЛЬЗОВАТЕЛЯ в качестве имени
пользователя для прокси
--proxy-password=ПАРОЛЬ установить ПАРОЛЬ в качестве пароля для
прокси
--referer=URL включить в HTTP-запрос заголовок «Referer: URL»
--save-headers сохранять HTTP-заголовки в файл
-U, --user-agent=АГЕНТ идентифицировать себя как АГЕНТ вместо
Wget/ВЕРСИЯ
--no-http-keep-alive отключить поддержание активности HTTP
(постоянные подключения)
--no-cookies не использовать кукисы
--load-cookies=ФАЙЛ загрузить кукисы из ФАЙЛА перед сеансом
--save-cookies=ФАЙЛ сохранить кукисы в ФАЙЛ после сеанса
--keep-session-cookies загрузить и сохранить кукисы сеанса
(непостоянные)
--post-data=СТРОКА использовать метод POST; отправка СТРОКИ в
качестве данных
--post-file=ФАЙЛ использовать метод POST; отправка содержимого
ФАЙЛА
--method=HTTPMethod использовать метод «HTTPMethod» в заголовке
--body-data=СТРОКА отправка СТРОКИ в качестве данных;
ДОЛЖЕН быть указан параметр --method
--body-file=ФАЙЛ отправка содержимого ФАЙЛА;
ДОЛЖЕН быть указан параметр --method
--content-disposition учитывать заголовок Content-Disposition
при выборе имён для локальных файлов
(ЭКСПЕРИМЕНТАЛЬНЫЙ)
--content-on-error выводить принятые данные при ошибках сервера
--auth-no-challenge отправлять информацию об аутентификации
Basic HTTP не дожидаясь первого ответа
сервера
Параметры HTTPS (SSL/TLS):
--secure-protocol=ПР выбор протокола безопасности: auto, SSLv2,
SSLv3, TLSv1, TLSv1_1, TLSv1_2 или PFS
--https-only переходить только по безопасным ссылкам HTTPS
--no-check-certificate не проверять сертификат сервера
--certificate=FILE файл сертификата пользователя
--certificate-type=ТИП тип сертификата пользователя: PEM или DER
--private-key=ФАЙЛ файл секретного ключа
--private-key-type=ТИП тип секретного ключа: PEM или DER
--ca-certificate=ФАЙЛ файл с набором CA
--ca-directory=КАТ каталог, в котором хранится список CA
--crl-file=ФАЙЛ файл с набором CRL
--pinnedpubkey=ФАЙЛ/ХЭШИ Файл с открытым ключом (PEM/DER) или любое
количество хэшей sha256 в виде base64,
начинающихся с «sha256//» и разделённых «;»,
по которым проверяется ответный узел
--ciphers=СТРОКА назначить строку приоритета (GnuTLS) или
список шифров (OpenSSL) непосредственным
образом. Использовать осторожно. Данный
параметр заменяет значение --secure-protocol.
Формат и синтаксис строки зависит от
используемой библиотеки SSL/TLS.
Параметры HSTS:
--no-hsts отключить HSTS
--hsts-file путь к базе данных HSTS (заменит значение
по умолчанию)
Параметры FTP:
--ftp-user=ПОЛЬЗОВАТЕЛЬ установить ftp-пользователя в ПОЛЬЗОВАТЕЛЬ
--ftp-password=ПАРОЛЬ установить ftp-пароль в ПАРОЛЬ
--no-remove-listing не удалять файлы «.listing»
--no-glob выключить маски для имён файлов FTP
--no-passive-ftp отключить «пассивный» режим передачи
--preserve-permissions сохранять права доступа удалённых файлов
--retr-symlinks при рекурсии загружать файлы по ссылкам
(не каталоги)
Параметры FTPS:
--ftps-implicit безусловно использовать FTPS (порт
по умолчанию — 990)
--ftps-resume-ssl возобновлять сеанс SSL/TLS, начатый
в канале управления, при открытии
канала данных
--ftps-clear-data-connection шифровать только канал управления;
данные не шифруются
--ftps-fallback-to-ftp вернуться к FTP, если FTPS не
поддерживается сервером
Параметры WARC:
--warc-file=ФАЙЛ записать данные запроса/ответа в файл .warc.gz
--warc-header=СТРОКА вставить СТРОКУ в запись warcinfo
--warc-max-size=ЧИСЛО максимальный размер файлов WARC равен ЧИСЛУ
--warc-cdx записать индексные файлы CDX
--warc-dedup=ФАЙЛ не сохранять записи, перечисленные в файле CDX
--no-warc-compression не сжимать файлы WARC с помощью GZIP
--no-warc-digests не вычислять дайджесты SHA1
--no-warc-keep-log не сохранять файл журнала в записи WARC
--warc-tempdir=КАТАЛОГ расположение для временных файлов,
создаваемых процедурой записи WARC
Рекурсивная загрузка:
-r, --recursive включение рекурсивной загрузки
-l, --level=ЧИСЛО глубина рекурсии (inf и 0 — бесконечность)
--delete-after удалять локальные файлы после загрузки
-k, --convert-links делать ссылки локальными в загруженном
HTML или CSS
--convert-file-only преобразовывать только файловую часть URL
(базовую часть имени)
--backups=N перед записью файла X, ротировать до N
резервных файлов
-K, --backup-converted перед преобразованием файла X делать резервную
копию в виде X.orig
-m, --mirror короткий параметр, эквивалентный
-N -r -l inf --no-remove-listing
-p, --page-requisites загрузить все изображения и проч., необходимые
для отображения HTML-страницы
--strict-comments включить строгую (SGML) обработку комментариев
HTML
Разрешения/запреты при рекурсии:
-A, --accept=СПИСОК список разрешённых расширений
через запятую
-R, --reject=СПИСОК список запрещённых расширений,
разделённых запятыми.
--accept-regex=РЕГВЫР регулярное выражение для разрешённых URL
--reject-regex=РЕГВЫР регулярное выражение для запрещённых URL
--regex-type=ТИП тип регулярного выражения (posix|pcre)
-D, --domains=СПИСОК список разрешённых доменов,
через запятую
--exclude-domains=СПИСОК список запрещённых доменов,
через запятую
--follow-ftp следовать по ссылкам FTP в HTML-документах
--follow-tags=СПИСОК список используемых тегов HTML,
через запятую
--ignore-tags=СПИСОК список игнорируемых тегов HTML,
через запятую
-H, --span-hosts заходить на чужие узлы при рекурсии
-L, --relative следовать только по относительным ссылкам
-I, --include-directories=СПИСОК список разрешённых каталогов
--trust-server-names использовать имя, указанное в перенаправляющем URL,
в качестве последнего компонента.
-X, --exclude-directories=СПИСОК список исключаемых каталогов
-np, --no-parent не подниматься в родительский каталог
|
|
------- Отправлено: 21:07, 29-06-2019 | #6 |
|
Старожил Сообщения: 239
|
Профиль | Отправить PM | Цитировать Nordek, спасибо за совет. последние три команды, по моему, ругаются уже по другому поводу
HTML код:
[/spoiler]может есть возможность сделать в Excel на VBA? |
|
Последний раз редактировалось v79italya, 30-06-2019 в 07:55. Отправлено: 07:03, 30-06-2019 | #7 |
|
SHVtYW4= Сообщения: 3451
|
Профиль | Отправить PM | Цитировать Цитата v79italya:
Код:
c:\wget\wget.exe -i "https://query1.finance.yahoo.com/v7/finance/download/AAU?period1=1530282224&period2=1561818224&interval=1d&events=history&crumb=lW3nnVK.6HD" --http-user=xxx@yahoo.com --http-password=xxx -nc -c -P C:\files\ |
|
|
------- Отправлено: 08:38, 30-06-2019 | #8 |
|
Старожил Сообщения: 239
|
Профиль | Отправить PM | Цитировать Nordek, теперь такие ответы
Скрытый текст
Microsoft Windows [Version 6.1.7601]
(c) Корпорация Майкрософт 2012. Все права защищены. C:\Users\Администратор>c:\wget\wget.exe -i "https://query1.finance.yahoo.com/v7/ finance/download/AAU?period1=1530282224&period2=1561818224&interval=1d&events=hi story&crumb=lW3nnVK.6HD" --http-user=xxx@yahoo.com --http-password=xxx -nc -c -P c:\files\ --2019-06-30 12:28:30-- https://query1.finance.yahoo.com/v7/finance/download/AA U?period1=1530282224&period2=1561818224&interval=1d&events=history&crumb=lW3nnVK .6HD Resolving query1.finance.yahoo.com (query1.finance.yahoo.com)... 87.248.118.22, 87.248.118.23, 2a00:1288:80:800::7000 Connecting to query1.finance.yahoo.com (query1.finance.yahoo.com)|87.248.118.22| :443... connected. HTTP request sent, awaiting response... 401 Unauthorized Unknown authentication scheme. Username/Password Authentication Failed. No URLs found in https://query1.finance.yahoo.com/v7/...oad/AAU?period 1=1530282224&period2=1561818224&interval=1d&events=history&crumb=lW3nnVK.6HD. C:\Users\Администратор>c:\wget\wget.exe -i "https://query1.finance.yahoo.com/v7/ finance/download/AAU?period1=1530282224&period2=1561818224&interval=1d&events=hi s tory&crumb=lW3nnVK.6HD" --ftp-user=xxx@yahoo.com --ftp-password=xxx -n c -c -P c:\files\ --2019-06-30 12:28:53-- https://query1.finance.yahoo.com/v7/finance/download/AA U?period1=1530282224&period2=1561818224&interval=1d&events=his%20tory&crumb=lW3n nVK.6HD Resolving query1.finance.yahoo.com (query1.finance.yahoo.com)... 87.248.118.22, 87.248.118.23, 2a00:1288:80:800::7000 Connecting to query1.finance.yahoo.com (query1.finance.yahoo.com)|87.248.118.22| :443... connected. HTTP request sent, awaiting response... 401 Unauthorized Username/Password Authentication Failed. No URLs found in https://query1.finance.yahoo.com/v7/...oad/AAU?period 1=1530282224&period2=1561818224&interval=1d&events=his tory&crumb=lW3nnVK.6HD. C:\Users\Администратор>c:\wget\wget.exe -i "https://query1.finance.yahoo.com/v7/ finance/download/AAU?period1=1530282224&period2=1561818224&interval=1d&events=hi story&crumb=lW3nnVK.6HD" --user=xxx@yahoo.com --password=xxx -nc -c - P c:\files\ --2019-06-30 12:29:35-- https://query1.finance.yahoo.com/v7/finance/download/AA U?period1=1530282224&period2=1561818224&interval=1d&events=history&crumb=lW3nnVK .6HD Resolving query1.finance.yahoo.com (query1.finance.yahoo.com)... 87.248.118.22, 87.248.118.23, 2a00:1288:80:800::7000 Connecting to query1.finance.yahoo.com (query1.finance.yahoo.com)|87.248.118.22| :443... connected. HTTP request sent, awaiting response... 401 Unauthorized Unknown authentication scheme. Username/Password Authentication Failed. No URLs found in https://query1.finance.yahoo.com/v7/...oad/AAU?period 1=1530282224&period2=1561818224&interval=1d&events=history&crumb=lW3nnVK.6HD. C:\Users\Администратор> |
|
Отправлено: 10:33, 30-06-2019 | #9 |
|
Deadooshka Сообщения: 2499
|
Профиль | Отправить PM | Цитировать ему кукис нужен от страницы с html-таблицей. https://blogs.sas.com/content/sgf/20...download-data/
|
|
Отправлено: 14:20, 30-06-2019 | #10 |
|
Участник сейчас на форуме |
 |
Участник вне форума |
 |
Автор темы |
 |
Сообщение прикреплено |
| |||||
| Название темы | Автор | Информация о форуме | Ответов | Последнее сообщение | |
| CMD/BAT - Задать вопрос как через бат файл присвоить два занения и перейти по ссылке | zzup | Скриптовые языки администрирования Windows | 2 | 20-01-2015 01:45 | |
| CMD/BAT - Как из бат-файла проверить наличие файла по ссылке, не скачивая файл ? | mitiya | Скриптовые языки администрирования Windows | 2 | 27-06-2008 20:50 | |
| Как открыть по ссылке файл *.rdp? | Rhamzes | Вебмастеру | 1 | 15-11-2005 09:05 | |
| Можно ли при помощи PHP скачать файл по ссылке вида http://xxxx? (+) | Igor_I | Вебмастеру | 2 | 12-09-2005 21:31 | |
| Клик по ссылке на zip файл в IE | pro100_tak | Хочу все знать | 4 | 09-12-2004 10:21 | |
|
|
Время: 10:06. | © OSzone.net 2001-
|
|
Powered by: vBulletin Copyright ©2000 - 2024, Jelsoft Enterprises Ltd. |
