wget 403: Forbidden

Если при скачивании сайта командой wget, например с такими параметрами:

wget -r -k -l 7 -p -E -nc http://site.ru/

у вас возникла ошибка 403 Forbidden:

HTTP-запрос отправлен. Ожидание ответа... 403 Forbidden
2018-11-10 13:25:41 ОШИБКА 403: Forbidden.

Попробуйте добавить заголовки к команде:

wget -r -k -l 7 -p -E -nc --header="User-Agent: Mozilla/5.0 (Windows NT 6.0) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.97 Safari/537.11" --header="Referer: http://xmodulo.com/" http://site.ru/

Кто-то использует ещё заголовок --header="Accept-Encoding: compress, gzip", но у меня с ним не заработало.

Если и этот вариант не сработает, то можно ещё какие-нибудь заголовки использовать. Дело в том, что такая ошибка возникает, когда сайт проверяет заголовки запроса, чтобы предотвратить скачку страниц.

Также может быть полезно использование настроек конфигурационного файла .wgetrc, чтобы задать одинаковые параметры для вызова команды wget. Файл настроек может выглядеть так:

$ nano ~/.wgetrc

header = Accept-Language: ru,en-US;q=0.8,en;q=0.6
header = Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
header = Connection: keep-alive
header = Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7
header = Accept-Encoding: gzip, deflate, sdch
user_agent = Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome$
referer = /
robots = off

Дополнительные параметры файла .wgetrc вы можете посмотреть на странице http://dbserv.pnpi.spb.ru/~shevel/Book/node106.html.

Оцените статью

5 из 5 (всего 1 оценка)

Имя

Email

Сообщение

Символы на картинке

Отмеченные звёздочкой поля ( * ) являются обязательными для заполнения.

Спасибо за ваш отзыв!

После нажатия кнопки "Отправить" ваше сообщение будет доставлено мне на почту.

Автор статьи

Артём Мальцев

Веб-разработчик, владеющий знаниями языка программирования Python, фреймворка Django, системы управления содержимым сайта Django CMS, платформы для создания интернет-магазина Django Shop и многих различных приложений, использующих эти технологии.

Права на использование материала, расположенного на этой странице https://vivazzi.pro/ru/it/wget-403-forbidden/:

Разрешается копировать материал с указанием её автора и ссылки на оригинал без использования параметра rel="nofollow" в теге <a>. Использование:

Автор статьи: Артём Мальцев
Ссылка на статью: <a href="https://vivazzi.pro/ru/it/wget-403-forbidden/">https://vivazzi.pro/ru/it/wget-403-forbidden/</a>

Больше: Правила использования сайта