Но Андрей обломал мне всю малину 😊

ребят, мне нужно спарсить c этого сайта : http://www.tauntondeeds.com/Searches/ImageSearch.aspx
но после клика на Search Land Court ссылка остается неизменной. Там как то через ajax запрос подгружаются данные.

Так вот, мне нужно использовать selenium чтоб заполнить  поля или есть другой способ получения данных?

спс

90% что когда хочешь непонятного, то человек пытается закрутить гвоздь молотком

вобщем, у тебя взлетит, если ты сначала все пауки проинициализируешь своими настройками а потом их уже начнешь запускать.
типа
runner_ed = CrawlerRunner(settings_ed)
runner_non_ed = CrawlerRunner(settings_non_ed)
а потом через
@defer.inlineCallbacks
def crawl():
   yield runner_ed.crawl(blabla.spiders.blaspider.BlaSpiderSpider)
   yield runner_non_ed.crawl(blabla.spiders.bla_spider_non_ed.BlaSpiderSpiderNonEd)
   reactor.stop()

в данном случае мне нужен был последовательный запуск

инициализируешь как-то так:
settings_non_ed = get_project_settings()
settings_ed['FEED_URI'] = 'file:///' + my.base_dir + bla.settings.BOT_NAME + '/out_ed.csv'
settings_non_ed['FEED_URI'] = 'file:///' + out_csv_non_ed

блин, надо бы переписать это дело на os.path.join, вопрос только как туда добавить file:/// если просто впихать туда сработает интересно...

там еще даты надо проставить, и выбрать тип документа скрапи в это умеет?

это некорректный вопрос

скрапи на таком уровне не работает

мда, file:/// отбрасывает гад:

понял, прошу прощения, тогда для этих целей связку scrapy + selenium использовать ?

нет, надо читать ссылку выше и понимать, что смотреть

чтобы понять, что вопрос выше некорректен

во валит!)

Бомба, спасибо

если надо отправить запрос, скрапи может отправить запрос, скрапи не надо для этого "даты проставить"

path и так работает с fs, ему не нужна схема