Size: a a a

2017 May 18

Oleg П in Data Engineers
Спасибо! Попробую
источник

NK

ID:1373407 in Data Engineers
для хдфс есть тулза для копирования между разными дц
источник

Oleg П in Data Engineers
Дистцп
источник

Oleg П in Data Engineers
?
источник

NK

ID:1373407 in Data Engineers
источник

Oleg П in Data Engineers
У меня в тикет разработчик пишет мол "дистцп тут не подходит" ) уточню
источник

Oleg П in Data Engineers
В любом случае спасибо)
источник

NK

ID:1373407 in Data Engineers
хпдудп гет
источник

NK

ID:1373407 in Data Engineers
хадуп пут
источник

Oleg П in Data Engineers
Там данных много сотни терабайт, хадупы в разных сетях. Хочется скрипт им, запустить с машины, которая в обеих сетях и максимально быстро, желательно без сохранения на эту тачку, переложит данные
источник

Oleg П in Data Engineers
Ну типа на пару месяцев запустить
источник

NK

ID:1373407 in Data Engineers
а почему не подходит дистсцп ,
источник

Oleg П in Data Engineers
Я думаю что хадуп типа разных версий
источник

Oleg П in Data Engineers
Но уточню
источник

Oleg П in Data Engineers
Он мне объяснял что-то, но я в дневной запарке не понял
источник

Oleg П in Data Engineers
Напишу ему
источник

Oleg П in Data Engineers
Спасибо
источник

Oleg П in Data Engineers
Отпишу как решил
источник

Oleg П in Data Engineers
Все равно тишина тут обычно
источник

B

Boris in Data Engineers
Сетевой связности вероятно нет между датанодами разных кластеров. Разные версии решается через hftp.
Через одну тачку - гет+пут через пайп проще всего думаю.
источник