Size: a a a

2021 May 17

МС

Михаил Синегубов... in Scrapy
Ну, мидлварь нормально справляется
источник

i

i in Scrapy
а ты можешь там, типа больше чем надо "вот прям щас" токенов держать?
источник

i

i in Scrapy
короче, я может просто тупой, я не понимаю, как тебе асинхронщина поможет, если все-равно прокси должен ждать токен либо новый, либо из пула НЕ ждать.
источник

МС

Михаил Синегубов... in Scrapy
Так, смотри, каждый токен должен быть привязан к проксе - это понятно?
источник

i

i in Scrapy
да
источник

i

i in Scrapy
но ты можешь его сгенерить заранее? А потом уже привязать?
источник

i

i in Scrapy
или там сложно-отделимый процесс?
источник

МС

Михаил Синегубов... in Scrapy
Я в мидлварь смотрю, какая прокся стоит в реквесте. Если для нее токен есть - пользую, если нет - запрашиваю.
источник

i

i in Scrapy
а, я так понял токен привязывается к сессии и айпишнику. Мне почему-то взбрело в бошку, что ты его можешь сгенерить "от балды", для любого прокси.
источник

МС

Михаил Синегубов... in Scrapy
Ну, блин, это скушно. Я хочу что бы оно само в мидлварь крутилось и было по фен-шую 😂
источник

i

i in Scrapy
ээээээ, ээээээм
источник

i

i in Scrapy
т.е. он не привязан жестко??
источник

i

i in Scrapy
горе от ума короче, лол
источник

МС

Михаил Синегубов... in Scrapy
Ой все😔
источник

МС

Михаил Синегубов... in Scrapy
Завтра Андрея буду доставать, если не пошлет 😂
источник

i

i in Scrapy
ну по-феншую должен быть буферизуемый пул, имхо.
источник

i

i in Scrapy
вернее пул, а уж то, что он буферизуемый - это получится из того, что это пул!
источник

МС

Михаил Синегубов... in Scrapy
Я, блин, с мидлварями хочу разобраться. У меня одна моя и две чужих увязываются😄.
Ну и с
источник

МС

Михаил Синегубов... in Scrapy
Ну и с асинхронщиной в запросах (или как его правильно назвать)
источник

i

i in Scrapy
а так я не очень понимаю, у тебя все-равно будет момент ожидания генерации токена, если ты привязываешься к моменту "хочу это делать, когда понимаю, что для прокси его нет"
источник