A
Нет, это ещё норм
Size: a a a
2020 December 11
KS
18 шардов х 2ГБ =36 ГБ можно наверное дельты обьединять перед добавлением нового partition.
A
Приветствую.
подскажите, пожалуйтса, у меня есть sequence file, внутри N строк, строка - это key - строка, value - вектор, можно ли как-то внутри джобы хадупа сравнить каждое value c каждым другим и записать всё это в результирующий файл?
подскажите, пожалуйтса, у меня есть sequence file, внутри N строк, строка - это key - строка, value - вектор, можно ли как-то внутри джобы хадупа сравнить каждое value c каждым другим и записать всё это в результирующий файл?
AT
Давайте лучше Спарк в кубике запускать, ну его этот хадуп
АЖ
S
в смысле ну его этот ярн?
ME
А кубер тоже может ресурсы планировать разные? Память, проц, гпу?
АЖ
А кубер тоже может ресурсы планировать разные? Память, проц, гпу?
что значит “разные”?
AT
в смысле ну их обоих :) может конечно
ME
Надо, наверное, уже изучить кубер. Кажется, без него скоро вообще никуда
АЖ
в энтерпрайзе - хоть куда без него
АЖ
кубы в банках и телекоме мы только лет через 5 увидим
AT
да я думаю мы хадуп еще внукам покажем (с коболом рядом)
AZ
Al T
Давайте лучше Спарк в кубике запускать, ну его этот хадуп
серверлесс спарк тут грядет, вообще без кластеров
AT
ну можно же уже вроде
АЖ
серверлесс спарк тут грядет, вообще без кластеров
даже без кубов?
AT
фаргейтушка
R
кубы в банках и телекоме мы только лет через 5 увидим
Кубы уже в банках российских. Вот тоько в мире биг даты и вообще обработки данных ещё редко встречаются, но уже знаю проект в одном банке, где спарк на кубере крутится для реал тайм обработки
AZ
Датамеханикс есть, датабрикс свой выкатит - большинство забудет про кластера как про страшный сон
AZ
Al T
фаргейтушка
это очень условный серверлесс))