AR
не в кронтабе, а в скрипте
Size: a a a
2020 March 06
AR
видно же что не в кронтабе дело, что скрипт и руками не работает
AR
ну и если скрипт запускает скрапи сабпроцессом, там тоже
а вообще я про это писал
AR
AR
лолшто
AR
читать что я выше писал
AR
(это вообще универсальный совет)
AR
вру, читать мало, надо ещё это выполнять
AR
скрапи скриптом запускается так, что он никогда не найдётся если PATH дефолтный, а он дефолтный
AR
нет
AR
запускать .env/bin/scrapy
AR
высчитав сначала абсолютный путь конечно, а то опять не заработает из другого каталога
AR
но его всё равно высчитывать, как иначе-то
AR
os.path.dirname(os.path.dirname(__file__)) вся вот эта стандартная хреньAR
хотя щас модно
pathlib.Path(__file__).parentAK
While scraping with a download_delay =0, I'm missing some urls. But when I scrape with a download_delay=1. I'm able to scrape all the urls. But I have a lot of data to scrape. How to do it with out missing urls...