Можно, задаешь ему None вместо числа

В custom_settings или update_settings

set_user_agent

Спасибо!)

Разрабатывал паука локально, все работает, все круто. Потом решил задеплоить его на scrapyd, но там выдает ошибку

2021-06-14 10:05:03 [twisted] CRITICAL: Unhandled error in Deferred:
2021-06-14 10:05:03 [twisted] CRITICAL:
Traceback (most recent call last):
 File "/usr/local/lib/python3.8/site-packages/twisted/internet/defer.py", line 1445, in _inlineCallbacks
   result = current_context.run(g.send, result)
 File "/usr/local/lib/python3.8/site-packages/scrapy/crawler.py", line 86, in crawl
   self.spider = self._create_spider(*args, **kwargs)
 File "/usr/local/lib/python3.8/site-packages/scrapy/crawler.py", line 98, in _create_spider
   return self.spidercls.from_crawler(self, *args, **kwargs)
TypeError: from_crawler() got an unexpected keyword argument '_job'

Подскажите, куда нужно копать, чтобы понять причину? Поднял у себя также scrapydweb для повторяемого запуска, и вижу у него есть jobid при запуске. Но проблема в том, что не могу в своей среде воспроизвести ошибку

в классе спайдера кривой from_crawler

была ошибка в том, что инициализация from_crawler была
def from_crawler(cls, crawler):

Переписал на
def from_crawler(cls, crawler, *args, **kwargs):

Сработало

правда все равно не знаю зачем мне job_id)

тебе незачем

а где его зачастую используют?

нигде наверно, но и from_crawler обычно не переопределяют

а так это ж scrapyd передаёт на всякий случай, как я понимаю

окей, спасибо большое

Всем привет, подскажите в чем может быть ошибка?
_gdbm.error: [Errno 11] Resource temporarily unavailable: '****/data/stats'

Запускаю спайдер командой:
scrapy crawl nalog -a partition=0 -a n_partitions=1 -a version=s0 -s "BRANCH=feat/nalog" -s "JOBDIR=****/data"

в ****/data есть папка stats?

там файл такой

сам создаётся

пробовал удалить файл и создать папку с таким названием - выдаёт другое исключение
gdbm.error: [Errno 21] Is a directory: '****/data/stats'

ну верно, получается что должен быть файл, может что с правами доступа?

Всем привет! Запостила две вакансии в @scrapy_jobs, кому интересно посмотрите. Мы ищем: Ведущего (Lead) Python программиста на  разработку парсеров сайтов Букмекерских Контор.
Вилка ЗП: 200 000 ₽ - 350 000 ₽
Python middle/senior программиста на  разработку парсеров сайтов Букмекерских Контор.
Вилка ЗП: 120 000 ₽ - 200 000 ₽