Size: a a a

2020 March 06

AB

Alexander B in Scrapy
да
источник

AB

Alexander B in Scrapy
там связь в таблице рекурсивная
источник

К

Кирилл in Scrapy
Т.е. Там не авто инт?
источник

AB

Alexander B in Scrapy
нет
источник

AB

Alexander B in Scrapy
сам генерю
источник

AB

Alexander B in Scrapy
в init'е
источник

AR

Andrey Rahmatullin in Scrapy
может пайплайн забыл закоммитить транзакцию? :)
источник

AB

Alexander B in Scrapy
а parent_pd FK
источник

AR

Andrey Rahmatullin in Scrapy
и логируй в пайплайне факт попытки записи в БД, чтоб уж видеть что в каком порядке
источник

AB

Alexander B in Scrapy
Andrey Rahmatullin
и логируй в пайплайне факт попытки записи в БД, чтоб уж видеть что в каком порядке
да, это надо бы
источник

AB

Alexander B in Scrapy
связь в таблице один ко многоим в себя
источник

AB

Alexander B in Scrapy
тут явно конкуренция, но может есть какой нибудь hack типа wait_for_item_to_be_processed
источник

К

Кирилл in Scrapy
Пихни и категории и подкатегории в один итем и дели их уже в пайплайне
источник

AB

Alexander B in Scrapy
это 20+ спидеров переписывать()))))
источник

К

Кирилл in Scrapy
И бери айди из уже вставленного в бд
источник

К

Кирилл in Scrapy
Хотя на первый взгляд и твой вариант должен работать при условии правильных ключей и норм транзакций
источник

AR

Andrey Rahmatullin in Scrapy
Alexander B
тут явно конкуренция, но может есть какой нибудь hack типа wait_for_item_to_be_processed
этот хак называется вернуть Deferred из process_item
источник

AR

Andrey Rahmatullin in Scrapy
хотя не уверен что именно с этим поможет, но я вообще не уверен что тут проблема в обработке второго итема раньше первого
источник

AB

Alexander B in Scrapy
Andrey Rahmatullin
хотя не уверен что именно с этим поможет, но я вообще не уверен что тут проблема в обработке второго итема раньше первого
ну код в принципе простой, в init айтема просто hash функция
источник

AB

Alexander B in Scrapy
попробую залогировать... но если будут идеи я еще долго на работе...
источник