Size: a a a

2022 February 15

PL

Pavel Lu in Moscow Spark
ага
источник

ЕГ

Евгений Глотов... in Moscow Spark
Шафл можно в темп сделать, его в рамдиск
источник

ЕГ

Евгений Глотов... in Moscow Spark
А вот хранение...
источник

DZ

Dmitry Zuev in Moscow Spark
а дальше что с этим делать?
источник

ЕГ

Евгений Глотов... in Moscow Spark
Мне кажется дешевле схд купить
источник

PL

Pavel Lu in Moscow Spark
понятно
источник

ЕГ

Евгений Глотов... in Moscow Spark
А цель какая?
источник

PL

Pavel Lu in Moscow Spark
но - много партиций. 1000. Для ХДФС тормоза
источник

PL

Pavel Lu in Moscow Spark
нужно обрубать план
источник

ЕГ

Евгений Глотов... in Moscow Spark
Хдфс на ссд
источник

PL

Pavel Lu in Moscow Spark
нейм нода одна же, нет?
источник

ЕГ

Евгений Глотов... in Moscow Spark
Для богатых)
источник

ЕГ

Евгений Глотов... in Moscow Spark
Ну в 3 есть федерация, но не работал с ней
источник

ЕГ

Евгений Глотов... in Moscow Spark
Ну и не обязательно использовать хдфс
источник

ЕГ

Евгений Глотов... in Moscow Spark
Можно s3 например, с ним тоже будут тормоза, но уже другие
источник

PL

Pavel Lu in Moscow Spark
но вот же она память, хотелось бы в ней, но видимо нет
источник

ЕГ

Евгений Глотов... in Moscow Spark
Хранить данные в оперативке - так себе тема)
источник

PL

Pavel Lu in Moscow Spark
ну х2
источник

ЕГ

Евгений Глотов... in Moscow Spark
Были СУБД, которые это делали
источник

ЕГ

Евгений Глотов... in Moscow Spark
Но это космические бюджеты и не очень надёжно
источник