wget 403: Forbidden

10 ноября 2018 г. 0:38

Если при скачивании сайта командой wget, например с такими параметрами:

wget -r -k -l 7 -p -E -nc http://site.ru/

у вас возникла ошибка 403 Forbidden:

HTTP-запрос отправлен. Ожидание ответа... 403 Forbidden
2018-11-10 13:25:41 ОШИБКА 403: Forbidden.

Попробуйте добавить заголовки к команде:

wget -r -k -l 7 -p -E -nc --header="User-Agent: Mozilla/5.0 (Windows NT 6.0) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.97 Safari/537.11" --header="Referer: http://xmodulo.com/" http://site.ru/

Кто-то использует ещё заголовок --header="Accept-Encoding: compress, gzip", но у меня с ним не заработало.

Если и этот вариант не сработает, то можно ещё какие-нибудь заголовки использовать. Дело в том, что такая ошибка возникает, когда сайт проверяет заголовки запроса, чтобы предотвратить скачку страниц.

Также может быть полезно использование настроек конфигурационного файла .wgetrc, чтобы задать одинаковые параметры для вызова команды wget. Файл настроек может выглядеть так:

$ nano ~/.wgetrc
/home/vivazzi/.wgetrc
header = Accept-Language: ru,en-US;q=0.8,en;q=0.6
header = Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
header = Connection: keep-alive
header = Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
header = Accept-Encoding: gzip, deflate, sdch
user_agent = Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome$
referer = /
robots = off

Иногда robots.txt блокирует, поэтому его можно отключить параметром robots = off.

Дополнительные параметры файла .wgetrc вы можете посмотреть на странице http://dbserv.pnpi.spb.ru/~shevel/Book/node106.html .

Оцените статью

0 из 5 (всего 0 оценок)

Поля, отмеченные звёздочкой ( * ) , являются обязательными.

Спасибо за ваш отзыв!

После нажатия кнопки "Отправить" ваше сообщение будет доставлено мне на почту.

Автор статьи

Права на использование материала, расположенного на этой странице http://vivazzi.pro/it/wget-403-forbidden/:

Разрешается копировать материал с указанием её автора и ссылки на оригинал без использования параметра rel="nofollow" в теге <a>. Использование:

Автор статьи: Мальцев Артём
Ссылка на статью: <a href="http://vivazzi.pro/it/wget-403-forbidden/">http://vivazzi.pro/it/wget-403-forbidden/</a>

Подробнее: Правила использования сайта

Комментариев: 0

Вы можете оставить комментарий как незарегистрированный пользователь. Но, зарегистрировавшись, вы сможете получать оповещения об ответах, а также иметь доступ к своему личному аккаунту для просмотра своих комментариев.

Чтобы оставить комментарий от своего имени войдите или зарегистрируйтесь обычным способом или через социальные сети:

Отправить

На данный момент нет специального поиска, поэтому я предлагаю воспользоваться обычной поисковой системой, например, Google, добавив "vivazzi" после своего запроса.

Попробуйте