да на хабре тож через интертулз делают

Я статью не читал, только тематику глянул :)

Вроде уже спрашивал. Кто-то zillow скрепил?

в поиск по чату забей

там есть что-то

itertools, и еще полезная либа moreitertools, если вдруг первой не хватит, там тоже есть полезные штуки "из коробки"

Никогда не знал о moreitertools. Очень удобно для миграции данных например! Их разделитель по чанкам как раз удобен чтобы когда из джанги чанками нужно вытаскивать!

Например из postgres в mongodb когда данные переносишь можно их чанкатор использовать, чтобы вместо create на каждый обьект использовать bulk_create.

да, мне она именно этим и понравилась, разного рода чанками, вида разделить на N частей или сделать части по N элементов,  данные можно как хошь делить. При этом емнип она делает это генераторами, т.е. памяти много н жрется (но это не точно)

Всем привет, возможно вы моё спасение!

Собственно вот код:
https://pastebin.com/futcjf5P
Вот вопрос. Как мне правильно оформить следующий момент.
Как реализуют асинхронные функции внутри класса спайдера? Если я сделаю внутри функции def parse(): await корутину, то напишет ошибку, что await вне функции.
Как это пофиксить

Второе. Как можно из одной функции в другую передавать данные тут? Чтобы например обработать все ссылки сначала, а потом заставить парсер по всем из них перейти и собрать инфу по функции какой-нибудь

короче как заставить мой код работать?)

Это понятно, как здесь с минимальными затратами энергии завести эту вещь

Да и там вообще намешано в коде всё что попало

у меня во всех проектах оно ассинхронное, мне интересно как асинк функцию заставить работать внутри спайдера)

пусть будет не бд, хоть что

как async def заставить работать внутри спайдера

https://docs.python.org/3/library/asyncio-task.html asyncio.run нужно делать из parse функции

Нужно больше скринов кода по 1 строчке