Size: a a a

2020 April 07

i

ildar in Scrapy
Но Андрей обломал мне всю малину 😊
источник

🎱

🎱 in Scrapy
ребят, мне нужно спарсить c этого сайта : http://www.tauntondeeds.com/Searches/ImageSearch.aspx
но после клика на Search Land Court ссылка остается неизменной. Там как то через ajax запрос подгружаются данные.

Так вот, мне нужно использовать selenium чтоб заполнить  поля или есть другой способ получения данных?
источник

AR

Andrey Rahmatullin in Scrapy
источник

🎱

🎱 in Scrapy
спс
источник

К

Кирилл in Scrapy
ildar
вот, я когда-то тоже хотел неизведанного...
90% что когда хочешь непонятного, то человек пытается закрутить гвоздь молотком
источник

i

ildar in Scrapy
Vladyslav Babych
Я так предполагаю
вобщем, у тебя взлетит, если ты сначала все пауки проинициализируешь своими настройками а потом их уже начнешь запускать.
типа
runner_ed = CrawlerRunner(settings_ed)
runner_non_ed = CrawlerRunner(settings_non_ed)
а потом через
@defer.inlineCallbacks
def crawl():
   yield runner_ed.crawl(blabla.spiders.blaspider.BlaSpiderSpider)
   yield runner_non_ed.crawl(blabla.spiders.bla_spider_non_ed.BlaSpiderSpiderNonEd)
   reactor.stop()
источник

i

ildar in Scrapy
в данном случае мне нужен был последовательный запуск
источник

i

ildar in Scrapy
инициализируешь как-то так:
settings_non_ed = get_project_settings()
settings_ed['FEED_URI'] = 'file:///' + my.base_dir + bla.settings.BOT_NAME + '/out_ed.csv'
settings_non_ed['FEED_URI'] = 'file:///' + out_csv_non_ed
источник

i

ildar in Scrapy
блин, надо бы переписать это дело на os.path.join, вопрос только как туда добавить file:/// если просто впихать туда сработает интересно...
источник

🎱

🎱 in Scrapy
🎱
ребят, мне нужно спарсить c этого сайта : http://www.tauntondeeds.com/Searches/ImageSearch.aspx
но после клика на Search Land Court ссылка остается неизменной. Там как то через ajax запрос подгружаются данные.

Так вот, мне нужно использовать selenium чтоб заполнить  поля или есть другой способ получения данных?
там еще даты надо проставить, и выбрать тип документа скрапи в это умеет?
источник

AR

Andrey Rahmatullin in Scrapy
это некорректный вопрос
источник

AR

Andrey Rahmatullin in Scrapy
скрапи на таком уровне не работает
источник

i

ildar in Scrapy
мда, file:/// отбрасывает гад:
источник

🎱

🎱 in Scrapy
Andrey Rahmatullin
это некорректный вопрос
понял, прошу прощения, тогда для этих целей связку scrapy + selenium использовать ?
источник

AR

Andrey Rahmatullin in Scrapy
нет, надо читать ссылку выше и понимать, что смотреть
источник

AR

Andrey Rahmatullin in Scrapy
чтобы понять, что вопрос выше некорректен
источник

i

ildar in Scrapy
во валит!)
источник

VB

Vladyslav Babych in Scrapy
ildar
инициализируешь как-то так:
settings_non_ed = get_project_settings()
settings_ed['FEED_URI'] = 'file:///' + my.base_dir + bla.settings.BOT_NAME + '/out_ed.csv'
settings_non_ed['FEED_URI'] = 'file:///' + out_csv_non_ed
Бомба, спасибо
источник

AR

Andrey Rahmatullin in Scrapy
если надо отправить запрос, скрапи может отправить запрос, скрапи не надо для этого "даты проставить"
источник

К

Кирилл in Scrapy
ildar
мда, file:/// отбрасывает гад:
path и так работает с fs, ему не нужна схема
источник