В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

418 membersпожаловаться на группу
2020 March 16

К

Кирилл in Scrapy
Тебе нужно логику парса поправить
источник
12:52пожаловаться#1

S

Snoop Duck in Scrapy
У меня scrapy почему-то создаёт пустые файлы с результатами парсинга, даже когда не получилось ничего распарсить. В настройке FEED_STORE_EMPTY стоит False. Наткнулся на гитхабе на похожую ишью (https://github.com/scrapy/scrapy/issues/872), но она находится в закрытом статусе 🤔
источник
13:22пожаловаться#2

К

Кирилл in Scrapy
Файл создаётся при старте паука
источник
13:26пожаловаться#3

К

Кирилл in Scrapy
Не зависит от итемов
источник
13:26пожаловаться#4

МС

Михаил Синегубов in Scrapy
Snoop Duck
У меня scrapy почему-то создаёт пустые файлы с результатами парсинга, даже когда не получилось ничего распарсить. В настройке FEED_STORE_EMPTY стоит False. Наткнулся на гитхабе на похожую ишью (https://github.com/scrapy/scrapy/issues/872), но она находится в закрытом статусе 🤔
А до йелдов итемов доходит?
источник
13:26пожаловаться#5

S

Snoop Duck in Scrapy
Михаил Синегубов
А до йелдов итемов доходит?
Не доходит
источник
13:27пожаловаться#6

S

Snoop Duck in Scrapy
Кирилл
Файл создаётся при старте паука
А какой тогда смысл в этой настройке?
источник
13:28пожаловаться#7

К

Кирилл in Scrapy
Чтоб не записывать итем если у него все поля пустые
источник
13:29пожаловаться#8

i

ildar in Scrapy
Может все-таки доходит? Попробуй не возвращать yield
источник
13:29пожаловаться#9

AR

Andrey Rahmatullin in Scrapy
Кирилл
Чтоб не записывать итем если у него все поля пустые
https://docs.scrapy.org/en/latest/topics/feed-exports.html#feed-store-empty
источник
13:30пожаловаться#10

К

Кирилл in Scrapy
ildar
Может все-таки доходит? Попробуй не возвращать yield
так вроде  вопрос не в этом
источник
13:30пожаловаться#11

i

ildar in Scrapy
Там просто в иссью написано что не должно создавать если нет айтемов
источник
13:30пожаловаться#12

К

Кирилл in Scrapy
то ишю 2014 года
источник
13:31пожаловаться#13

К

Кирилл in Scrapy
того кода уже нет
источник
13:31пожаловаться#14

i

ildar in Scrapy
https://github.com/scrapy/scrapy/pull/2258
GitHub
[MRG+1] Feed exporter: start exporting only on first item by redapple · Pull Request #2258 · scrapy/scrapy
Fixes GH-872
This prevents the [ files when spider outputs nothing.

with FEED_STORE_EMPTY as False (the default), this changes produces empty files
with FEED_STORE_EMPTY as True, for JSON output, ...
источник
13:31пожаловаться#15

AR

Andrey Rahmatullin in Scrapy
this prevents the [ files
источник
13:32пожаловаться#16

i

ildar in Scrapy
А я не понял что это
источник
13:33пожаловаться#17

i

ildar in Scrapy
Я подумал это какая-то ошибка форматиртвания
источник
13:33пожаловаться#18

AR

Andrey Rahmatullin in Scrapy
ildar
А я не понял что это
https://github.com/scrapy/scrapy/issues/872#issuecomment-68009638
GitHub
FileFeedStorage creates empty file when no items are scraped · Issue #872 · scrapy/scrapy
When no items are scraped, the corresponding file is created none the less, because it is created in by the storage.open call in FeedExporter.open_spider. This behavior ignores the the setting of F...
источник
13:33пожаловаться#19

S

Snoop Duck in Scrapy
Andrey Rahmatullin
https://docs.scrapy.org/en/latest/topics/feed-exports.html#feed-store-empty
Т.е. empty feed в данном значении - это не пустой файл целиком, а пустые элементы?
источник
13:34пожаловаться#20