Size: a a a

2021 May 17

AR

Andrey Rahmatullin in Scrapy
последний раз попробую
источник

AR

Andrey Rahmatullin in Scrapy
что пропустить нельзя?
источник

AV

Anatoli Valenda in Scrapy
Всем ку. Есть вопрос по item. Нормально ответа не нагуглил. Я хочу собрать email  и телефоны, но их может быть произвольное количество.(условно от 1 до 10). Я вижу решение этой проблемы, как динамическое добавления Item в процессе работы, но может есть уже встроенный механизм для решения этой задачи(ну там  типа item = [e1, e2, e3 ... en])?
источник

AR

Andrey Rahmatullin in Scrapy
всё равно не понял проблему, опиши структуру итемов
источник

AR

Andrey Rahmatullin in Scrapy
звучит как будто термины не те в вопросе
источник

S

SoHard 🎄 in Scrapy
так ты один фиг через хромдрайвер уже рендеришь если это requests-html
источник

(

(o_O) in Scrapy
Yield item в цикле, не?
источник

AV

Anatoli Valenda in Scrapy
не совсем понял о чем речь. Мне надо в процессе работы увеличивать количество столбцов т.к. я не знаю сколько e-mail может быть на конкретном ряду.
источник

AR

Andrey Rahmatullin in Scrapy
так бы и писал что поля добавлять
источник

AR

Andrey Rahmatullin in Scrapy
нет конечно, делай массив
источник

AR

Andrey Rahmatullin in Scrapy
если вывод в csv то при выводе разворачивать
источник

k

kurashh in Scrapy
сорян, я походу запутался
го лс
источник

AR

Andrey Rahmatullin in Scrapy
лс платный
источник

E

Evgen in Scrapy
источник

E

Evgen in Scrapy
Правильный подход
источник

i

i in Scrapy
Если это csv, разное количество столбцов для дальнейшей жизни плохо, если ты где-то решишь добавить еще столбец, или кто-то рядом будет юзать выводы твоего скрипта. Или возникнут еще данные с переменным количеством.
Добавляй эти e-mail массивом в один столбец. Написать один раз "упаковщик-распаковщик" одного поля проще, чем гемор со столбцами. В крайнем случае, пиши в определенный столбец количество добавляемых e-mail'ов.
Или используй вывод в базу. Или json.
источник

i

i in Scrapy
в чем у тебя вывод?
источник

AR

Andrey Rahmatullin in Scrapy
можно делать имена столбцов email_N и парсить по ним, но это тоже неидеально
источник

AV

Anatoli Valenda in Scrapy
я вот тоже об этом подумал. Будет проще потом в пандас это все поделить. Данные извлекаются 1 раз. Вывод в csv
источник

AV

Anatoli Valenda in Scrapy
в этом случае проблема в том, что если количество емейлов превысит количество столбцов, то будет ошибка keyerror
источник