В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

705 membersпожаловаться на группу
2020 November 10

i

i in Scrapy
я думаю может потому-что там для -o написано как %(batch_id)d - это явно консольная фигня же
источник
16:09пожаловаться#1

i

i in Scrapy
процентики вот эти и d
источник
16:10пожаловаться#2

МС

Михаил Синегубов... in Scrapy
Семён Кашин
поставил в настройка:
FEED_EXPORT_BATCH_ITEM_COUNT = 100
FEED_URI = "%(batch_id)d-filename%(batch_time)s.jl"


при запуске из консоли scrapy crawl crawler_name бьется нормально. Но при запуске из scrapyd файлов с резуьтатами нет
а если не делить - все норм? файл появляется?
источник
16:10пожаловаться#3

i

i in Scrapy
у меня да
источник
16:10пожаловаться#4

СК

Семён Кашин... in Scrapy
Михаил Синегубов
а если не делить - все норм? файл появляется?
появляется файл. И делится нормально
источник
16:10пожаловаться#5

МС

Михаил Синегубов... in Scrapy
Семён Кашин
появляется файл. И делится нормально
перефразирую: если не делить, то в scrapyd файл появляется и нормально пишется?
источник
16:11пожаловаться#6

i

i in Scrapy
Семён Кашин
поставил в настройка:
FEED_EXPORT_BATCH_ITEM_COUNT = 100
FEED_URI = "%(batch_id)d-filename%(batch_time)s.jl"


при запуске из консоли scrapy crawl crawler_name бьется нормально. Но при запуске из scrapyd файлов с резуьтатами нет
под запуском из консоли ты подразумеваешь что указываешь теперь без параметра -o?
источник
16:11пожаловаться#7

СК

Семён Кашин... in Scrapy
Михаил Синегубов
перефразирую: если не делить, то в scrapyd файл появляется и нормально пишется?
да. Но имя файла задается как job_id. То есть по факту scrapyd запускает scrapy crawl spider_nmae -o {job_id}.jl
источник
16:13пожаловаться#8

СК

Семён Кашин... in Scrapy
i
под запуском из консоли ты подразумеваешь что указываешь теперь без параметра -o?
да
источник
16:14пожаловаться#9

i

i in Scrapy
тьфу блин, у меня feed_uri-то из питоноскрипта-стартера задавался, а я думаю чо я его меняю а он не меняется)
источник
16:16пожаловаться#10

МС

Михаил Синегубов... in Scrapy
i
тьфу блин, у меня feed_uri-то из питоноскрипта-стартера задавался, а я думаю чо я его меняю а он не меняется)
😆
источник
16:16пожаловаться#11

i

i in Scrapy
наяриваю там в settings.py)
вобщем, изменил в питоновом стартере и начало делить
s_ed = get_project_settings()
s_ed['FEED_URI'] = 'file:///' + my.base_dir + BOT_NAME + '/out_%(batch_id)d.csv'
process = CrawlerProcess(s_ed)
process.crawl(IherbSpiderSpider)
источник
16:17пожаловаться#12

i

i in Scrapy
но будет ли это работать в scrapyd - хз
источник
16:17пожаловаться#13

i

i in Scrapy
Семён Кашин
да. Но имя файла задается как job_id. То есть по факту scrapyd запускает scrapy crawl spider_nmae -o {job_id}.jl
тебе надо сделать там, чтобы scrapyd запускал его чисто как-будто ты запускаешь ТОЛЬКО scrapy crawl, а все настройки передать попробовать в settings
источник
16:19пожаловаться#14

МС

Михаил Синегубов... in Scrapy
на самом деле, самый простой вариант - отдебажить нахрен что scrapyd творит - это сугубо мое ИМХО
источник
16:20пожаловаться#15

СК

Семён Кашин... in Scrapy
i
тебе надо сделать там, чтобы scrapyd запускал его чисто как-будто ты запускаешь ТОЛЬКО scrapy crawl, а все настройки передать попробовать в settings
или сделать так, что бы мой формат подставлялся
источник
16:33пожаловаться#16

i

i in Scrapy
а в логе пишется что-то про %(batch_time)s or %(batch_id)d must be in the feed URI?
источник
16:34пожаловаться#17

i

i in Scrapy
если да, а ты задаешь там во-всю, то может как у меня проблема была, FEED_URI не там задается а берется с другого места?
источник
16:35пожаловаться#18

СК

Семён Кашин... in Scrapy
i
а в логе пишется что-то про %(batch_time)s or %(batch_id)d must be in the feed URI?
нет, ничего такого нет
источник
16:58пожаловаться#19

t

tfhx8 in Scrapy
Кто в chrome selenium разбирается? Раньше если скачивать файл повторно, то он добавлял к файлу одинаковому цифру, сейчас же почему то стал заменять. Как вернуть обратно?
источник
19:14пожаловаться#20