вот у меня вопрос как пайп с классом парсера синхронизируется.....

Через реактор как я помню.

а если по русски :)
кстати, модет кто решал задачу, или видел что-то похожее
1. есть 4 паука, они делают, по сути, разные этапы парсинга.
2. исходные данные для пауков лезат в разных (для каждого паука в своей) таблицах базы
3. в эти же таблицы пауки пишут/добавляют данные.

как это все "по феншую" увязать?

Twisted reactor.
В доке скрапи есть овервью архитектуры скрапи.

Не пиши в файл.

Привет, ребята! я использую scrapy. Я создал сложный парсер с цепочкой обратных вызовов, ответов и генерацией следующей url. Теперь мне нужно написать unit tests для него. Единственное, что я нашел, - это 2 ответа на stackoverflow (Betamax,  поддельные тестовые ответы). Я не представляю, как бы я мог использовать эти решения в моем случае. Может кто-нибудь объяснить шаг за шагом, как это делается, или дать ссылку на какую-либо документацию. Заранее большое спасибо!

Итемы чем не подходят?

Ну там больше инфа что сейчас парсится и сколько найдено страниц.

Мне в другом месте выводить надо - что за паук, сколько парсит и сколько прошел

ну или как работать с cookies в scrapy? есть какие либо ссылки полезные?

не пойму как их использовать и где...