Size: a a a

2019 August 20

ПФ

Паша Финкельштейн in Data Engineers
λoλdog
Серьезное заявление
Можно вернуть путь на фс и получится редьюс. Ппц спорно конечно
источник

ПФ

Паша Финкельштейн in Data Engineers
Это не pure, но в целом наверное можно считать редюсом
источник

GP

Grigory Pomadchin in Data Engineers
ну ты сохраняешь что-то на редьюсе у тебя в примере; но ты не показал как ты в марредьюсе хранишь данные
источник

ПФ

Паша Финкельштейн in Data Engineers
Grigory Pomadchin
ну ты сохраняешь что-то на редьюсе у тебя в примере; но ты не показал как ты в марредьюсе хранишь данные
так. Ну надо как-то лямбды сериализовать
источник

ПФ

Паша Финкельштейн in Data Engineers
Джава так умеет начиная с 8й
источник

ПФ

Паша Финкельштейн in Data Engineers
вроде как функция, но вроде как храним
источник

H

H in Data Engineers
источник

N

Nikita Blagodarnyy in Data Engineers
Grigory Pomadchin
ну ты сохраняешь что-то на редьюсе у тебя в примере; но ты не показал как ты в марредьюсе хранишь данные
create table if not exists map_reduce(map string, reduce string) stored as parquet
источник
2019 August 21

ПФ

Паша Финкельштейн in Data Engineers
Nikita Blagodarnyy
create table if not exists map_reduce(map string, reduce string) stored as parquet
Найс!
источник

RI

Rustam Iksanov in Data Engineers
Инженеры! Как перенести данные из одного Phoenix на другой. Пробовал делать hbase CopyTable но процесс зависает на этапе передачи( такое ощущение, что есть фаервол), но телнетом к ZK ноде конектится. Может кто-то может подсказать, какие нужно порты проверить.
источник

S

Stanislav in Data Engineers
Rustam Iksanov
Инженеры! Как перенести данные из одного Phoenix на другой. Пробовал делать hbase CopyTable но процесс зависает на этапе передачи( такое ощущение, что есть фаервол), но телнетом к ZK ноде конектится. Может кто-то может подсказать, какие нужно порты проверить.
о
ты попал
это самое веселое, что есть в фениксе
источник

RI

Rustam Iksanov in Data Engineers
Stanislav
о
ты попал
это самое веселое, что есть в фениксе
🔥 Чувствую муки, есть предложения, или это в принципе никак не сделать?
источник

S

Stanislav in Data Engineers
смотря насколько много данных
источник

S

Stanislav in Data Engineers
в принципе у феникса есть статья, как делать
источник

S

Stanislav in Data Engineers
самый безопасный и безгеморойный - цсв
источник

S

Stanislav in Data Engineers
но если данных много - начинаются пляски
источник

RI

Rustam Iksanov in Data Engineers
пока данных не очень много, но хотелось сделать по технологичнее способом
источник

N

Nikita Blagodarnyy in Data Engineers
NiFi не?
источник

RI

Rustam Iksanov in Data Engineers
не использовал, не уверен, что он стоит.
источник

EN

Eldar Nezametdinov in Data Engineers
Rustam Iksanov
не использовал, не уверен, что он стоит.
Не стоит 💯%.
источник