В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

408 membersпожаловаться на группу
2020 February 28

К

Кирилл in Scrapy
Roman Gangal
Спасибо за совет! Да я думал о базе, но еще руки не дошли, в файлики быстрее как-то. В принципе у меня все пашет. Просто тут вопрос удобности именно в связке с панелькой scrapydweb
У меня даже такой необходимости не возникало) всегда если парсишь какие-то данные с ними потом что-то сделать нужно, а что с csv-то делать?)
источник
18:37пожаловаться#1

RG

Roman Gangal in Scrapy
Кирилл
У меня даже такой необходимости не возникало) всегда если парсишь какие-то данные с ними потом что-то сделать нужно, а что с csv-то делать?)
я на заказ делаю. заказчик хочет в csv чтоб сразу ему сохраняло) Я понимаю можно сразу в базу, а оттуда отдельно експортить в csv но зачем если scrapy предлагает это из коробки)
источник
18:47пожаловаться#2

EB

Elisei Badanin in Scrapy
по фтп же из коробки можно?
источник
18:48пожаловаться#3

К

Кирилл in Scrapy
Да
источник
18:48пожаловаться#4

EB

Elisei Badanin in Scrapy
в бд, так-то, не очень хорошая идея писать
источник
18:48пожаловаться#5

К

Кирилл in Scrapy
Elisei Badanin
в бд, так-то, не очень хорошая идея писать
Почему
источник
18:48пожаловаться#6

EB

Elisei Badanin in Scrapy
для себя юзаю jl, csv не всегда удобно, особенно когда разный набор колонок(нужно в пауке все указывать)
источник
18:49пожаловаться#7

EB

Elisei Badanin in Scrapy
Кирилл
Почему
блокируют паука как минимум
источник
18:49пожаловаться#8

EB

Elisei Badanin in Scrapy
нужно пайплайн делать, который чанками писать будет
источник
18:50пожаловаться#9

К

Кирилл in Scrapy
Это же не сложно
источник
18:50пожаловаться#10

К

Кирилл in Scrapy
Да и скорость всегда в сеть упирается, а не в запись
источник
18:51пожаловаться#11

EB

Elisei Badanin in Scrapy
у меня в запись упиралось
источник
18:51пожаловаться#12

EB

Elisei Badanin in Scrapy
но там сложная структура данных
источник
18:51пожаловаться#13

EB

Elisei Badanin in Scrapy
на мускуле вообще апсерт кривой
источник
18:51пожаловаться#14

AR

Andrey Rahmatullin in Scrapy
Elisei Badanin
блокируют паука как минимум
возьмите драйвер, умеющий в деферреды :)
источник
18:52пожаловаться#15

AR

Andrey Rahmatullin in Scrapy
ну или асинкио, но это ждать 2.0
источник
18:52пожаловаться#16

EB

Elisei Badanin in Scrapy
дополнительные сложности и точки отказа
источник
18:52пожаловаться#17

К

Кирилл in Scrapy
А так, да. Нужно чанки, и это конечно сложнее того что из коробки
источник
18:52пожаловаться#18

К

Кирилл in Scrapy
Andrey Rahmatullin
ну или асинкио, но это ждать 2.0
Есть уже какие-то даты?
источник
18:52пожаловаться#19

AR

Andrey Rahmatullin in Scrapy
Кирилл
Есть уже какие-то даты?
завтра, надеюсь
источник
18:53пожаловаться#20