AS
Size: a a a
2021 December 03
N
Есть ещё nfs gateway для hdfs. Но довольно валкая вещь.
N
Проще какой-нибудь нифи воткнуть и им гонять, он сам умеет свежее находить.
S
в потрошках будет тоже самое - копирование на шару )
N
Ну хдфс гет не надо кроном шедулить.
S
а крон в найфай конечно лучше )
он так то может пропускать или дублировать события )
он так то может пропускать или дублировать события )
S
но лан, там речь шла просто про копирование )
S
но контролировать ситуацию с пропуском дублированием проще (ну и для дублирования надо реально постораться)
N
Дублирование решается стратегией реплейс в таргете.
ЕГ
Ставил задачку товарищам, они копали-копали и закопались в итоге
ЕГ
Сделать как-то можно, но очень геморно
N
топчик ответ )
ЕГ
Не ну типа надо подумать, насколько это действительно нужно, прежде чем влезать)
S
а что за история с https://github.com/hopshadoop/hops
оно живое?
оно живое?
S
кажется немного странным:
supports multiple stateless NameNodes, where the metadata is stored in MySQL Cluster, an in-memory distributed database
UD
Живое, но мелкое
UD
Странного нет, они просто захачили NDB мускула
UD
Ваще интересно у кого хватит яиц в апаче переписать неймноду
