Телеграмм чат группы scrapy

Size: a a a

Scrapy

434 membersпожаловаться на группу

2020 March 29

Кирилл in Scrapy

Sergey

спасибо!

Получилось?

источник

23:12пожаловаться #1

Sergey in Scrapy

да

источник

23:15пожаловаться #2

Sergey in Scrapy

там в модуле используется парсер bs, он криво строит дерево с таким доком, теперь строю дерево с помощью lxml, сойдет
долго объяснять что там у меня, проблема решена в принципе

источник

23:16пожаловаться #3

Andrey Rahmatullin in Scrapy

лол

источник

23:22пожаловаться #4

Andrey Rahmatullin in Scrapy

очередная проблема решена заменой bs на lxml

источник

23:23пожаловаться #5

2020 March 30

Andrii in Scrapy

Всем привет. Подскажите возможно ли обновлять данные в CSV документе?

источник

12:19пожаловаться #6

Кирилл in Scrapy

Можно, но тебе нужно будет самому эту логику прописать, и это не лучший подход

источник

12:20пожаловаться #7

Andrii in Scrapy

ага, спасибо!

источник

12:21пожаловаться #8

Кирилл in Scrapy

Каждый раз, во время записи тебе нужно будет находить строку, по уникальному полю, чем больше будет csv тем медленее это будет работать

источник

12:22пожаловаться #9

2020 March 31

rtme in Scrapy

Подскажите в какой формат лучше пасить для скорости записи / чтения из файлов ?
что быстрее работает SQLite / CSV / json ? Исходя из того что парсинг с ipadpro + pythonista, а то что-то в json порядочно тупит при открытии, приходится на сеты дробить.

источник

13:17пожаловаться #10

Andrey Rahmatullin in Scrapy

ещё бы джсон не тупил, это ж один документ

источник

13:20пожаловаться #11

Andrey Rahmatullin in Scrapy

а так - смотря как читать

источник

13:20пожаловаться #12

rtme in Scrapy

Да там размер смешной ) сетами тоже тупит ппц)