СК
но как сделать, что бы через scrapyd файлы бились на куски
Size: a a a
2020 November 10
СК
?
СК
формат названия не особо важен
СК
главное, что бы бились на куски
A
а кто собирал в докер скрейпид и скрейпидвеб?
A
можете конфигом поделиться?)
AR
а как в scrapyd передается аналог -o "%(spider_name)s.jl" ?
Я б не стал так делать и просто выставил FEEDS
СК
Я б не стал так делать и просто выставил FEEDS
Подробнее?
AR
Настройкой, а не -o
СК
Настройкой, а не -o
так я так и пытаюсь сделать. Через настройки в settings.py
AR
Ну так и я про вон те странные вопросы
AR
Я впрочем навскидку не помню достаточно ли описанных выше настроек
СК
Я впрочем навскидку не помню достаточно ли описанных выше настроек
вот она страница документации:
https://docs.scrapy.org/en/latest/topics/feed-exports.html#feed-exporters
https://docs.scrapy.org/en/latest/topics/feed-exports.html#feed-exporters
AR
Ну и я бы проверил что эти настройки вообще читаются
СК
когда запускаю из консоли работает нормально. Но мне надо запускать через scrapyd
AR
scrapy crawl spider_name -o "path_to_file/%(spider_name)s-%(batch_id)ds.json"
Ну без комментариев, чо
СК
Ну без комментариев, чо
замечательно... начинаем говорить загадками
AR
Переслано от Семён Кашин...
scrapy crawl spider_name -o "path_to_file/%(spider_name)s-%(batch_id)ds.json"
AR
Переслано от Семён Кашин...
так я так и пытаюсь сделать. Через настройки в settings.py