Да, в том и суть. Логическое разделение для читателя кода.

просто ретурн вернет нан

In [12]: def f(): 
    ...:     return 
    ...:      
    ...:                                                                                       

In [13]: def f2(): 
    ...:     10-2 
    ...:      
    ...:      
    ...:                                                                                       

In [14]: def f3(): 
    ...:     return None 
    ...:      
    ...:                                                                                       

In [15]: f() == f2() == f3() 

вопрос, что выдаст?

и после ответа =) вы сможете понять, почему пеп рекомендует делать явный возврат , т.е. return None

к сожалению ваше правило не действует, так как пеп говорит другое ;)

> ну я туплю, только по пепу лучше делать return None =)
Почти всегда, но не в этом случае.
https://www.python.org/dev/peps/pep-0255/#specification-return
return None после yield приведет к SyntaxError: 'return' with argument inside generator

> Та скрапи не большой, ни надо никакого видео.
Уверенность начинающих - предмет зависти профессионалов :)

и так всё ясно любому читателю, кто немного знаком с питоном.

котята, я пока ещё полностью не разобрался, как работает scrapy и как в нём пробрасываюстя данные.

такая ситуация - хочу награбить товаров с магазина. есть два вида страниц, список товаров с пагинацией, и страница с товаром.
я написал два паука, которые хорошо выковывивают нужную информацию. первый паук проходит по всему списку товаров, собирает первую грубую инфу и ссылки на товар. второй паук по ссылке на товар уже забирает нужные детали. вопрос в том, как лучше бы завязать этих пауков на совместную работу.

в идеале я хочу что-то такое: первый паук делает обход, его результаты скидываются в базу, и если товара ещё нет в базе, то ссылка на товар скидывается в очередь второго паука. в какой части scrapy стоит прописывать подобную логику?

Пишешь один паук с двумя методами, в первом парсишь список товаров и йелдишь запрос ко второму методу, который будет товар разбирать.

пауков у меня два, так как я думаю, что иногда нужно их будет запускать по отдельности. ну и конечно, если товар уже есть, то не стоит просматривать страницу с товаром.

Тогда база + очередь.

да, база и очередь - это и так понятно. но прописывать это в сам класс паука, или есть какие-то места, куда обычно выносят подобную логику. просто писать такое в самого паука мне кажется грязным стилем. паук не должне ничего знать о базах и прочих вещах.

Почитай про архитектуру скрапи, там в доке есть.
Помню что такое место есть, но не помню как называется.

Ребята, можете подсказать, как реализовать возможность продолжения скрэпинга после итерации?

Если было прерывание

Я думал обновлять файл в который мы грузим результаты после каждой итерации, но если запустить заново, оно будет перезаписывать по новой

Из коробки можно, есть в документации resuming job или как-то так

Спасибо, буду пробовать!)