ЕГ
Надо с датабриксом на акции законтрактоваться😆
Ну камон, работы на 5 минут. Но проблема в другом, что Спарк все поднимает в память.
Как вариант это делать дс айдишников и в map/map partition через ждбц коннектить
Size: a a a
2021 October 09
ЕГ
А в чём проблема с памятью?
ЕГ
Вроде ща дефицита оперативки не наблюдается)
DZ
В том что если кусок не влезет в память то всё
ЕГ
Не всё, а правильно настроить сессию)
DZ
Да это просто бред, выделять память для того чтобы в фс записать
DZ
56кб хватит
DZ
Ну вот рил, сколько надо памяти чтобы стрим записать через filesystem? 1гб? 2?
ЕГ
Можно в 100500 партиций из рдб грузить в 4 потока на калькуляторе
DZ
Это травма спарком
DZ
Seq scan в один поток на бд не будет быстрее двух seq scan
DZ
Разбиение нужно ток когда попадаешь в индекс или когда сети на ноде не хватает
ЕГ
Я имею в виду ограничения по памяти нет, если грузить маленькими кусками
DZ
Оверхед
DZ
Плюс нет гарантии от skew
ЕГ
Есть
ЕГ
Hash(key) % numpartitions
DZ
И это повезло если есть айдишник такой по которому делить