Телеграмм чат группы scrapy

(Просто к значениям в итемс или дикт пишешь слева и справа ставишь по кавычке). Правда если в середине будет кавычка, то экспортер начнет емнип их валидно экоанировать и количество странности увеличится, поэтому это очень странное требование

источник

22:17пожаловаться #13

i

i in Scrapy

К примеру если у меня товар с кавычками в названии, он же нормально экспортится)

источник

22:18пожаловаться #14

i

i in Scrapy

Но это дичь какая-то, самому их обрамлять, может прогер тот не знает как стандартный csv читать? И замутил там какой-то адовый велик на регекспах с кавычками)

источник

22:20пожаловаться #15

SS

Sergey Sergey in Scrapy

i

К примеру если у меня товар с кавычками в названии, он же нормально экспортится)

согласен. Дичь какаято. ПОпробую от этого избавиться

источник

22:20пожаловаться #16

К

Кирилл in Scrapy

i

Но это дичь какая-то, самому их обрамлять, может прогер тот не знает как стандартный csv читать? И замутил там какой-то адовый велик на регекспах с кавычками)

Там данные через csv транспортируют, о чем речь

источник

22:21пожаловаться #17

SS

Sergey Sergey in Scrapy

i

Но это дичь какая-то, самому их обрамлять, может прогер тот не знает как стандартный csv читать? И замутил там какой-то адовый велик на регекспах с кавычками)

а статистику парсинга после окончания работы паука умеешь получать? Так, чтобы не из файла логов а прямо из статс?

источник

22:21пожаловаться #18

i

i in Scrapy

Ну там же стандартный вроде метод есть. И даже в патчнотисах что-то проскакивало

источник

22:22пожаловаться #19

МС

Михаил Синегубов... in Scrapy

Sergey Sergey

а статистику парсинга после окончания работы паука умеешь получать? Так, чтобы не из файла логов а прямо из статс?

https://docs.scrapy.org/en/latest/topics/stats.html

начни с этого, только не помню откуда плясать надо, то ли при закрытии паука, то ли когда у пауканет данных (close_spider vs sider_idle). В каком то из них, вроде как, статы уже нет

источник

22:25пожаловаться #20