R
Size: a a a
2020 October 04
A
Да по поводу выполнения параллельно нескольких задач сразу и чтобы например из очереди одновременно максимум 10 задач выполнялось. При этом чтобы в основную программу результат возвращался.
В питоне нет мультипоточности
A
Да по поводу выполнения параллельно нескольких задач сразу и чтобы например из очереди одновременно максимум 10 задач выполнялось. При этом чтобы в основную программу результат возвращался.
Запускаешь треды, ждёшь когда испольняются. Запускаешь новые. Но это все ебань.
R
В питоне нет мультипоточности
A
А теперь перечитай что он хочет
MO
А потом вы говорите что Питон простой
MO
Почему кстати 10 задач? Это не вычислительные задачи, они там что-то с базой делают?
У
Почему кстати 10 задач? Это не вычислительные задачи, они там что-то с базой делают?
10 например написал
MO
Оно может быть
У
Оно может быть
Спасибо, вроде похоже на правду - осталось понять попытается ли он сначала все датафреймы в память засунуть или будет вытаскивать постепенно.
MO
Ну по идее если засабмитить в пул таск, где фрейм будет загружаться и обрабатываться сразу же, то после завершения память должна освободиться под новые таски
MO
Можно ещё глянуть https://streams.readthedocs.io/en/latest/
Возможно что то неактуальное, может для стримов есть какая нибудь общепринятая либа
Возможно что то неактуальное, может для стримов есть какая нибудь общепринятая либа
MO
яп разные, но принципы везде одни и те же: пулы, стримы