Телеграмм чат группы scrapy

2021 January 26

AB

а проблема именно такая же? с базой?
вросто, если пользовать ORM, там, вроде, можно не передавать необязательные поля...

Не с базой, а в том, что itemlpader игнорирует None как значение и не заполняет поле

источник

15:13пожаловаться #1

МС

Михаил Синегубов... in Scrapy

ну, ок. Что от этого ломается?

источник

15:15пожаловаться #2

МС

Михаил Синегубов... in Scrapy

в иссу я еще вижу проблему, там пайп ломается (хотя, и там, думаю, можно поправить)
здесь какая проблема, кроме фразы "не заполняет поле"

источник

15:17пожаловаться #3

AB

Arkady B in Scrapy

Михаил Синегубов

в иссу я еще вижу проблему, там пайп ломается (хотя, и там, думаю, можно поправить)
здесь какая проблема, кроме фразы "не заполняет поле"

Проблема в том, что нет гарантии, что значение существует. Так как всегда может сайт измениться и xparh выдаст пустоту. В связи с чем заполнение item произойдет не полное и как итог, у тебя отсутствующие значения в результате

источник

15:21пожаловаться #4

МС

Михаил Синегубов... in Scrapy

Arkady B

Проблема в том, что нет гарантии, что значение существует. Так как всегда может сайт измениться и xparh выдаст пустоту. В связи с чем заполнение item произойдет не полное и как итог, у тебя отсутствующие значения в результате

так может посмотреть в другую сторону, не кошмарить лоадера, а проверять айтем?
к примеру, чем то вроде https://spidermon.readthedocs.io/en/latest/item-validation.html

источник

15:30пожаловаться #5

AB

Arkady B in Scrapy

Михаил Синегубов

так может посмотреть в другую сторону, не кошмарить лоадера, а проверять айтем?
к примеру, чем то вроде https://spidermon.readthedocs.io/en/latest/item-validation.html

звучит неплохо, но тогда слишком много точек входа. у меня уже есть item_processors, которые делают это

источник

15:31пожаловаться #6

AR

Andrey Rahmatullin in Scrapy

выкинь их %)

источник

15:47пожаловаться #7

AB

Arkady B in Scrapy

Andrey Rahmatullin

выкинь их %)

источник

16:00пожаловаться #8

AR

Andrey Rahmatullin in Scrapy

AB

Arkady B in Scrapy

похож на маньяка

16:01пожаловаться #10

AR

Andrey Rahmatullin in Scrapy

ну просто валидировать надо там где надо, а в процессорах надо процессить

источник

16:01пожаловаться #11

AB

Arkady B in Scrapy

так я процешу в процессорах

источник

16:01пожаловаться #12

AR

Andrey Rahmatullin in Scrapy

ну ок

источник

16:02пожаловаться #13

S

SoHard 🎄 in Scrapy

Не знаю как правильно сформулировать вопрос но попытаюсь)
Как разделить куки для разных запросов?
Например: я собираю список ссылок с пагинации, а потом мне нужно чтобы паук при заходе на каждую из ссылок использовал свои куки.
Что-то типа отдельных сессий для каждой цепочки

источник

18:15пожаловаться #14

К

Кирилл in Scrapy

Куки джары передашешь и будут разные сессии

источник

18:16пожаловаться #15

G

Georgiy in Scrapy

SoHard 🎄

Не знаю как правильно сформулировать вопрос но попытаюсь)
Как разделить куки для разных запросов?
Например: я собираю список ссылок с пагинации, а потом мне нужно чтобы паук при заходе на каждую из ссылок использовал свои куки.
Что-то типа отдельных сессий для каждой цепочки

https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#multiple-cookie-sessions-per-spider

источник

18:16пожаловаться #16

AR

Andrey Rahmatullin in Scrapy

угу

источник

18:17пожаловаться #17

S

SoHard 🎄 in Scrapy

Georgiy

https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#multiple-cookie-sessions-per-spider