М
Size: a a a
2019 August 06
E
М
и не сплэш ломится в локальный докер, и тот проксю берет, а scrapy через splash middleware ломится на адрес splash в настройках. И если у вас splash в докере то вы в самом докере порт пробрасываете на локалхост, так-что для scrapy все выглядит, что splash просто на локалхосте запущен
ну, я криво выразился просто
i
Рекурсивную что ли какую-то сделать, что бы запрос, меняющий месяц и год коллбэкнул опять эту функцию
Ты можешь проверять и коллбекать эту же функцию
АН
Ты можешь проверять и коллбекать эту же функцию
Сделал все таки с inline_requests, гори оно огнем пока со всем остальным не разберусь))
i
Сделал все таки с inline_requests, гори оно огнем пока со всем остальным не разберусь))
Ну суть в том, что тебе все равно надо делать проверку, в любом случае, просто в этом случае делаешь коллбек этой же функции, если параметры даты не совпадают, передавая правильные , может быть с don't filter, а если все клево, обрабатываешь стандартно
МС
Ну суть в том, что тебе все равно надо делать проверку, в любом случае, просто в этом случае делаешь коллбек этой же функции, если параметры даты не совпадают, передавая правильные , может быть с don't filter, а если все клево, обрабатываешь стандартно
там более запущенно, там надо перебрать диапазон дат.... :)
E
прикольный апдейт в scrapy 1.7: https://docs.scrapy.org/en/latest/topics/request-response.html#scrapy.http.Request.cb_kwargs
Теперь можно аргументы в callback отправлять вместо meta
Теперь можно аргументы в callback отправлять вместо meta
МС
ухтыжка, это жеж можно айтемы не таскать....
хотя - один хрен 🤔
хотя - один хрен 🤔
i
там более запущенно, там надо перебрать диапазон дат.... :)
Ну я пока трудностей не вижу, либо строчка с inline, либо yield
МС
Ну я пока трудностей не вижу, либо строчка с inline, либо yield
ну, учитывая что там тормозной ASP + вообще как то криво он работает....
Леха так и сказал "пока с остальным не разберусь", а разбираться там есть еще с чем :)
Леха так и сказал "пока с остальным не разберусь", а разбираться там есть еще с чем :)