DZ
Вроде норм
Size: a a a
2020 March 31
DZ
Делаешь партиции прост
DZ
Если шафла нет то все ок
K
партиция должна влазить в память
K
а 40 гигов не влезет
DZ
партиция должна влазить в память
Ну вот даа
DZ
Думал сорс такой сделать который резплтсет в несколько партиций лепит
DZ
Ну или уже ебануться и на фс написать своё
AZ
Зачем вообще спарк для этого использовать? Положить аккуратно специальным тулом в объектный сторадж а дальше гоу крейзи
DZ
Чем положить?
DZ
Зачем вообще спарк для этого использовать? Положить аккуратно специальным тулом в объектный сторадж а дальше гоу крейзи
Оверкил, но скуп же кто-то использует
AZ
Оверкил, но скуп же кто-то использует
Ну вот скуп такой тул вроде? И почему оверкил?
DZ
Спарк овер кил
DZ
Скуп мало чем лучше спарка в этом
DZ
Спарк делает тупо, запускает запросы с ограничением на ид если возможно, или в один поток
DZ
Хочется иногда один запрос на несколько партиций разбить
DZ
Тупо читать не весь резалтсет в партицию
AZ
Да, а скуп может нагенерить запросов умнее, скажем к сабпартициям в случае оракула, или к ампам для Терадата
AZ
Главное к нему легко и приятно свои коннекторы писать
DZ
Главное к нему легко и приятно свои коннекторы писать
Ну это можно и на спарке сделать, если понимать особенности сурса