wget 403: Forbidden

10 ноября 2018 г. 0:38

Если при скачивании сайта командой wget, например с такими параметрами:

wget -r -k -l 7 -p -E -nc http://site.ru/

у вас возникла ошибка 403 Forbidden:

HTTP-запрос отправлен. Ожидание ответа... 403 Forbidden
2018-11-10 13:25:41 ОШИБКА 403: Forbidden.

Попробуйте добавить заголовки к команде:

wget -r -k -l 7 -p -E -nc --header="User-Agent: Mozilla/5.0 (Windows NT 6.0) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.97 Safari/537.11" --header="Referer: http://xmodulo.com/" http://site.ru/

Кто-то использует ещё заголовок --header="Accept-Encoding: compress, gzip", но у меня с ним не заработало.

Если и этот вариант не сработает, то можно ещё какие-нибудь заголовки использовать. Дело в том, что такая ошибка возникает, когда сайт проверяет заголовки запроса, чтобы предотвратить скачку страниц.

Также может быть полезно использование настроек конфигурационного файла .wgetrc, чтобы задать одинаковые параметры для вызова команды wget. Файл настроек может выглядеть так:

$ nano ~/.wgetrc
/home/vivazzi/.wgetrc
header = Accept-Language: ru,en-US;q=0.8,en;q=0.6
header = Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
header = Connection: keep-alive
header = Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
header = Accept-Encoding: gzip, deflate, sdch
user_agent = Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome$
referer = /
robots = off

Иногда robots.txt блокирует, поэтому его можно отключить параметром robots = off.

Дополнительные параметры файла .wgetrc вы можете посмотреть на странице http://dbserv.pnpi.spb.ru/~shevel/Book/node106.html.

Оцените статью

0 из 5 (всего 0 оценок)

captcha
Отмеченные звёздочкой поля ( * ) являются обязательными для заполнения.

Спасибо за ваш отзыв!

После нажатия кнопки "Отправить" ваше сообщение будет доставлено мне на почту.

Автор статьи

Артём Мальцев

Веб-разработчик, владеющий знаниями языка программирования Python, фреймворка Django, системы управления содержимым сайта Django CMS, платформы для создания интернет-магазина Django Shop и многих различных приложений, использующих эти технологии.

Права на использование материала, расположенного на этой странице https://vivazzi.pro/ru/it/wget-403-forbidden/:

Разрешается копировать материал с указанием её автора и ссылки на оригинал без использования параметра rel="nofollow" в теге <a>. Использование:

Автор статьи: Артём Мальцев
Ссылка на статью: <a href="https://vivazzi.pro/ru/it/wget-403-forbidden/">https://vivazzi.pro/ru/it/wget-403-forbidden/</a>

Больше: Правила использования сайта

Для тех, кто продаёт через свой профиль в соц. сетях: моя сестра, Анастасия Мальцева запустила свой курс: «Комфортные продажи через контент»

Все знания построены на собственном опыте и имеют хороший результат, поэтому если вы продаёте товары или услуги и хотите повысить эффективность вашего аккаунта или сайта, то курс будет для вас полезен!

Представляю вашему вниманию книгу, написанную моим близким другом Максимом Макуриным: Секреты эффективного управления ассортиментом.

Книга предназначается для широкого круга читателей и, по мнению автора, будет полезна специалистам отдела закупок и логистики, категорийным и финансовым менеджерам, менеджерам по продажам, аналитикам, руководителям и директорам, в компетенции которых принятие решений по управлению ассортиментом.

Комментарии: 0

Вы можете оставить комментарий как незарегистрированный пользователь.

Но зарегистрировавшись, вы сможете:

  • получать оповещения об ответах
  • просматривать свои комментарии
  • иметь возможность использовать все функции разработанных сервисов

Для комментирования от своего имени войдите или зарегистрируйтесь на сайте Vuspace

Отправить

На данный момент нет специального поиска, поэтому я предлагаю воспользоваться обычной поисковой системой, например, Google, добавив "vivazzi" после своего запроса.

Попробуйте

Выберите валюту для отображения денежных единиц