Телеграмм чат группы scrapy

Size: a a a

Scrapy

864 membersпожаловаться на группу

2021 May 17

Andrey Rahmatullin in Scrapy

ну в рантайме делать конечно

источник

13:45пожаловаться #1

Andrey Rahmatullin in Scrapy

там правда другая задача возникает, как в начале экспорта узнать все столбцы

источник

13:45пожаловаться #2

Anatoli Valenda in Scrapy

проще записать item = [e1, e2, e3 ... en]

источник

13:45пожаловаться #3

Andrey Rahmatullin in Scrapy

конечно

источник

13:45пожаловаться #4

Andrey Rahmatullin in Scrapy

но ты опять филды итемами называешь

источник

13:46пожаловаться #5

Anatoli Valenda in Scrapy

вот в том и косяк, что заранее неизвестно количество столбцов

источник

13:46пожаловаться #6

i in Scrapy

Уффь. Смотри, если филду присвоить массив, scrapy же с этим справится?

источник

13:46пожаловаться #7

(

(o_O) in Scrapy

';'.join(emails) в спайдере или
email = Field(serializer=join_func) в class Item

источник

13:47пожаловаться #8

Andrii in Scrapy

☝️🤯

источник

13:47пожаловаться #9

Anatoli Valenda in Scrapy

исправлюсь

источник

13:47пожаловаться #10

i in Scrapy

условно, у тебя есть item, в нем fields name и emails, ты берешь просто и emails=[e1, e2, e3]

источник

13:47пожаловаться #11

Andrey Rahmatullin in Scrapy

скрапи пофиг

источник

13:47пожаловаться #12

Andrey Rahmatullin in Scrapy

точно

источник

13:47пожаловаться #13

Andrii in Scrapy

1. Запись в джейсон --> потом пост скрапинг куда хоч конвертуй

источник

13:47пожаловаться #14

i in Scrapy

а он как это делает, через loads/dumps какой-нить, или там будет какой-то аналог pickle? чет не задумывался как он сериализует это дело в строке.

источник

13:48пожаловаться #15

Andrey Rahmatullin in Scrapy

делает что?

источник

13:48пожаловаться #16

(

(o_O) in Scrapy

ЕМНИП scrapy csv exporter приводит к json аггрегатные поля

источник

13:48пожаловаться #17

i in Scrapy

list -> str

источник

13:48пожаловаться #18

Andrey Rahmatullin in Scrapy

кто именно?

источник

13:48пожаловаться #19

Andrey Rahmatullin in Scrapy

это только экспортер делает

источник

13:49пожаловаться #20