Size: a a a

2021 May 24

(

(o_O) in Scrapy
http_proxy и https_proxy
источник

S

Stanislav in Scrapy
в документации есть примеры?
источник

(

(o_O) in Scrapy
А самому посмотреть?
источник

S

Stanislav in Scrapy
у меня с английским ооооооочень хреново. поэтому и спрашиваю.
источник

(

(o_O) in Scrapy
Ну а что непонятного? Выставляешь env vars и все
источник

(

(o_O) in Scrapy
Ос какая?
источник

S

Stanislav in Scrapy
windows 8.1
источник

S

Stanislav in Scrapy
в доках скрапи отправило в раздел HttpProxyMiddleware  там читать?
источник

(

(o_O) in Scrapy
Powershell: $env:https_proxy=http://x.x.x.x:port
источник

(

(o_O) in Scrapy
И дальше из этой оболочки как обычно
источник

AR

Andrey Rahmatullin in Scrapy
да
источник

(

(o_O) in Scrapy
У teamhg ещё мидлварь есть, proxy from settings, или как-то так
источник

(

(o_O) in Scrapy
На гитхабе
источник

(

(o_O) in Scrapy
И в pypi
источник

(

(o_O) in Scrapy
С ней можно в settings.py прокси задать
источник

S

Stanislav in Scrapy
а еще подскажите вот к примеру ну как было у меня сегодня я знаю что на сайте несколько тысяч карточек товара а парсер возвращает пару сотен при этом: ссылки на страницы на которых находится товары находит но не выгружает . или выгружает через раз.  где или как можно посмотреть что выгрузка идет не полностью?  просто в логах на что обратить внимание?
источник

S

Stanislav in Scrapy
коряво както написал
источник

S

Stanislav in Scrapy
спасибо
источник

A

Andrii in Scrapy
да просто так:
источник

A

Andrii in Scrapy
CUSTOM_PROXIES = os.environ.get('CUSTOM_PROXIES', '')
источник