ТС
так как overhead 0.4 и т.д
Size: a a a
2019 September 29
СХ
но проблема в том, что например задача забрать 35 гб данных из источника, а воркеру всего выдано 20
СХ
если бы была просто вируалка, она бы записала излишки на nvme
СХ
задачи падают на воркеры рандомно
СХ
и заранее знать сколько будут весить ключи нельзя
ТС
вроде есть offHeap memory, не то что надо ?
СХ
вроде есть offHeap memory, не то что надо ?
это работало бы на виртуалке
СХ
а мы сейчас в контейнере
ТС
хм, таких проблем не было, у нас заранее известно нужное количество памяти
СХ
просто ключи в сцилле могут весить как 15кб так и 50 мб
СХ
то есть заранее сказать, сколько будет весить выборка нельзя
СХ
считать размер выборки и создавать контейнер в воркером нужного размера - выглядит жесть
K
но проблема в том, что например задача забрать 35 гб данных из источника, а воркеру всего выдано 20
Вы представляете как Спарк работает ?
СХ
Вы представляете как Спарк работает ?
очень плохо, я его ток ставил и мониторил, яж не пишу под под это
K
очень плохо, я его ток ставил и мониторил, яж не пишу под под это
Ему не нужно памяти столько сколько в датасете
СХ
Ему не нужно памяти столько сколько в датасете
а куда он денет данные? вот предположим, есть сцилла и надо забрать 3,5 млрд ключей, и сделать из них 12 графиков и отчёт
K
На локальный кеш положит ?
СХ
На локальный кеш положит ?
в контейнере?
СХ
не, если бы была вм, то всё понятно
ТС
а нельзя увеличить количество контейнеров ?