Телеграмм чат группы scrapy

есть такая структура
мне нужно собирать h3 и div class="level3" вместе

использую lxml
в данный момент я делаю как
xpath'ем получаю основной блок, после собираю отдельно h3 и отдельно div'ы

дальше через zip собираю эти данные и дальше уже работаю с ними

может как-то можно проще это сделать

источник

11:40пожаловаться #8

Andrey Rahmatullin in Scrapy

following-sibling::div[1]

источник

11:40пожаловаться #9

quavo in Scrapy

спасибо

источник

11:41пожаловаться #10

Vladyslav Babych in Scrapy

Alexander Serebrov

source config.env, а потом уже скрапи запускать? 😅

Спасибо за совет. Может сможете подсказать как задать кастомную директорию для сохранения файлов. Оставив при этом возможность генерировать название файла в сетингс

источник

11:54пожаловаться #11

Мак in Scrapy

в сеттингс задать FILES_PATH
а в пайпе get_project_settings('FILES_PATH')

источник

12:11пожаловаться #12

Vladyslav Babych in Scrapy

А так что-бы ещё и в командную строку это передать можно было

источник

12:36пожаловаться #13

Мак in Scrapy

-s FILES_PATH=""
по идее должно работать, но не факт

источник

12:40пожаловаться #14

2020 March 25

Nelson in Scrapy

Доброго времени суток. Хочу сделать скрипт, который будет сообщать мне об изменениях на сайте.
Если изменится дата, указанная на сайте, мне выведет текст. Я правильно, понимаю, что это возможно сделать с помощью scrapy?
Сам только начал изучать питон, набросал примерный скрипт (пока исходя из своих знаний, такой)

источник

08:40пожаловаться #15

Мак in Scrapy

тебе проще обычный запрос в requests написать

источник

08:53пожаловаться #16

Roma in Scrapy

@free01man По моему ты спрашивал про передачу куков из селениума в реквест ? Получилось реализовать

источник

09:38пожаловаться #17

Мак in Scrapy

Roma