но на практике не тюнингованая питоновая либа на мощном современном компустере начинает работать минуту примерно на 500-1000 шарах плюс минус минуту. На 10к оно будет работать часы и дни. И размер данных тоже будет не очень маленький
Мне кажется ты что-то путаешь. Я у себя тоже разделял на части и получалось что каждая часть имеет такой же размер как и оригинальные данные. И это все довольно быстро работало у меня на обычном ноуте.