подумать как ты будешь запускать пауков

Ну хотелось бы через веб-интерфейс

ну, я бы по другому вопрос поставил: "а что вообще хочется", на самом ли деле нужна своя веб админка?.
99% потребностей перекрывает консолька. Но да, я еще то динозавр :)

посмотри в сторону:
1. https://github.com/my8100/scrapydweb
2. https://github.com/crawlab-team/crawlab (у него еще список есть админок)

может оно и перекроет твои потребности

нужно парсить цены с магазинов и складывать все это дело куда-то, для этого и хотел к джанго взять прикрутить, если есть лучше варианты, с радостью послушал бы))

блин, спарсить куда-то, взять что-то, подучить непонятно что...
что с данными дальше будет?

Видел https://django-dynamic-scraper.readthedocs.io/en/latest/advanced_topics.html#scheduling-scrapers-checkers

Но там автор последний год похоже пилит крипту

Лично мне надо список подобного от пробовавших, с выводом стоит что-то или нет  как часть комбайна, или пилить тупо свой велик для организации workflow. Чтоб туда сверху вкрутить слежку за ресурсами, по которым определять, что данные устарели(scrapy/selenium) , потом старт пауков, инфа все ли хорошо прошло(не обязательно даже гуи, нехай хоть в телегу значимые ошибки шлет, типа "ой чет с сайта собралось ноль данных")-любая телегобот/ скрапид?, и потом еще сверху  прикрученное раскидываение полученных данных, где-то по базам, где-то может и в cms сайтов, где-то на почту или телегу послать. А то вдруг бриллиантовое решение уже есть. Короче, лень и вера в серебряную пулю.

Больше даже про организацию клея для всего этого зоопарка. Сам думаю очередь меня спасет. Аля celery/dramatiq. И может быть сверху джангу, но это не так важно уже.

бриллиантовое решение не бывает, потому что одним надо выгрузку в экселе глазами смотреть, другим в стороннюю систему грузить, третьим ещё что-то

для уведомлений о статусе завершившихся джобов есть  spidermon

А про workflow передовая наука что говорит? Где порядок действий a->b->c->d с возможными ветвлениями, вида "если b такое-то идем по c1, иначе по c2". Если b сдохло - сделай попробуй еще раз или плачь в телегу. Это же очереди, аля celery? Или что-то повыше уровнем взять, но все еще легковесное. А то глаза разбегаются: https://github.com/pditommaso/awesome-pipeline

Вернее даже с этого списка: https://github.com/search?l=Python&o=desc&q=pipeline+framework&s=stars&type=Repositories

бро, поделись инфой про объемы? кол-во магазов, кол-во позиций в базе, ожидание / реальность?

по сабжу я лично присматриваюсь к airflow, но пока только в мечтах

Ну как я себе это вижу.
Есть у нас обычный веб-интерфейс куда будет логиниться пользователь, у него есть доступ к функицоналу.
- Добавить сайт для парсинга
- Выгрузка в excel
- import excel своих товаров и т д

Магазов бы хотелось охватить большое кол-во но так как ресурсов толком нету) то можно потренироваться и на малом количестве

"- import excel своих товаров и т д" - это что, магазин будет?

нет, это чтобы можно было свои товары сравнить по ценам в магазинах конкурентов