Jobs: pausing and resuming crawls — Scrapy 1.6.0 documentation
https://docs.scrapy.org/en/latest/topics/jobs.html

Тут пишется за ручную остановку, а если это произойдет по какой либо другой причине?

База или файл. Туда пишутся статусы по урлам. Придумываешь как стартануть паука с любого момента

Почти все надо писать самому, из коробки этого нет.

Вопрос - а надо ли? Если паук отрабатывает за несколько часов - проще перезапусьить

Я могу себе после какого-то колличество итераций записывать это в файл, а при старте он не будет перезаписываться?

Я думал если у меня, условно 1000 страниц, за одну итерацию брать 100 и если на середине произойдет остановка по какой либо причине, продолжить с этого места, при новом запуске

Или так не стоит делать?

почему бы нет, начнёшь отрабатывать с последней валидной позиции.

Можно намекнуть как это сделать?)

это очень интересный подход, и я сейчас сам смотрю как сделать что-то отдалённо подобное. скорей всего придётся переопределить метод start_requests твоего паука, как я понимаю, он возвращает iterable с запросами. вот там, как я думаю, и можно будет чекнуть, где был последний успешный запрос и продолжить с того момента.

но я совсем не волшебник, так что может быть ерунды сейчас написал. пусть благородные доны поделятся своими мыслями.

Я сам два дня назад открыл для себя scrapy

dito

в чём плюсы использования Items?

Обработка none если элемент не найден не нужно эксепшены городить, ну и пре и постпроцессоры, иногда это удобно

А это работает, только при .add_xpath()?
load = ItemLoader(item=MyItem(), response=response)
load.add_xpath()-не нужны эксепшены?
item.add_value()-нужно городить?
Как вообще по лучшим практикам?

Так эд валю и эд икспас две разные вещи. Если можешь напрямую икспас, то да.
А если например у тебя значение парсится и ты потом хочешь его изменить. То можно эд валю. Или икспас и в айтемсе все написать, что надо.

Ну да, получается красивее add_xpath, itemloader сам дропает None,+в items.py делаешь очистку и сервировку значений, а если add_value то логику и эксепшены приходится в пауке городить

Спасибо за хорошую мысль

Все верно 👍