Size: a a a

2021 May 17

МС

Михаил Синегубов... in Scrapy
народ, нубятский вопрос, как в treq подсунуть проксю? гугла не хочет признаваться....😒

предыстория (может я где не прав) - пишу менеджер токенов в зависимости от прокси, токен привязываю к прокси. В мидлваре смотрю, если нет для этого прокси токена - запрашиваю на сайте. "По феншую", токен надо хапрашивать с той же проксей, с какой он будет использоваться.
Вот как раз для этого запроса и хочу treq пользовать.

Или что посоветуете, для асинхронного запроса "на месте" из мидлваре?
источник

МС

Михаил Синегубов... in Scrapy
пока, запрос токена накостылил реквестами, но не нравится, реквест морозит паука (или я "не так готовлю"), просто токен еще и протухает через 2 часа...
источник

A

Alex in Scrapy
Реквест - который пакет requests?
источник

МС

Михаил Синегубов... in Scrapy
угу
источник

A

Alex in Scrapy
Есть асинхронная версия: https://github.com/psf/requests-html
источник

A

Alex in Scrapy
Еще вот такое есть: https://pypi.org/project/httpx/
источник

i

i in Scrapy
а почему они должны быть асинхронными? Может наоборот, туда надо inline requests? Или токены в принципе можно привязать к любому прокси? Тогда может пул какой-то токенов вообще параллельно держать и сразу выдавать как конфетки
источник

МС

Михаил Синегубов... in Scrapy
Асинхрон нужен когда для 500 проксей уже есть токены, а для ещё 500 - нету.
Я хочу что бы, когда новые токены запрашивал, уже имеющиеся работали.
источник

МС

Михаил Синегубов... in Scrapy
Там запрос тяжёлый, секунд на 5
источник

МС

Михаил Синегубов... in Scrapy
А, стоп, инлайн отдает ресурсы другому запросу?
источник

i

i in Scrapy
по-идее тебе не надо творить прямо здесь и сейчас запрос, может реально генерить эти  токены пулом про запас где-то вообще в соседнем процессе,  и потом просто сессию подсовывать пауку, когда нет токена?
источник

i

i in Scrapy
не знаю, смутно помню он будет ждать, но я его никогда не юзал, только читал про него
источник

i

i in Scrapy
Или ты про то, что другой паук сможет работать? Тож хз
источник

МС

Михаил Синегубов... in Scrapy
Результат ждёт. А вот отдает ли ресурсы.... Вроде отдает.
Но у меня главный вопрос - как скормить прокси в treq 😏
источник

МС

Михаил Синегубов... in Scrapy
Так то, тогда и инлайн, и асинк можно мутить....
источник

i

i in Scrapy
лично я за пул, надо тока понять как сессию с токеном пауку без токена подсовывать. В принципе, если там кукисом - то изи-пизи
источник

i

i in Scrapy
из плюсов - ты можешь забить болт на реализацию асинхронности
источник

МС

Михаил Синегубов... in Scrapy
Ну, у меня и есть пул, только в начале он пустой.
Потом, потихоньку накапливаются токены
источник

МС

Михаил Синегубов... in Scrapy
Я это потихоньку хочу ускорить
источник

i

i in Scrapy
из минусов - тебе надо механизм "от балды" для рассчета предупреждения того, чтобы токен подсовывать "здесь и сейчас", когда он нужен
источник