ПФ
А зачем вам вообще тут что-то кроме джавы? Вам же надо резалтсет получить и его стримом писать в паркет или что там у вас
Size: a a a
2021 October 11
А
У меня есть субд постгрес куда периодически мигрируются бд, мне необходимо предоставить API по переносу этих схем в хадуп(hive), вот ищу open source решение, которое могу использовать
AZ
А таблицы большие?
А
Пока что не большие, но в скором времени будут большими
AZ
Scoop можно использовать для очень больших таблиц, но для большого количества маленьких таблиц у него очень большие накладные расходы, может иметь смысл написать свою выгружалку
ПФ
Ну вот мне кажется вам не надо ничего кроме джавы
DZ
DZ
Ничего кроме скалы
DZ
Дерайвинг схем + result set 2 parquet/orc
DZ
Если совсем наивно, то дерайвинг схем + psql copy to csv | hdfs dfs
DZ
Тут даже питона хватит
AZ
Даже шелла хватит
N
да и неткат сойдёт
DZ
На шелле неудобно мепинг типов делать разве что
ДШ
банхаммер
ЕК
если найдёшь, пришли, пожалуйста
DZ
@mmm_mav не хотите поделиться
PS
Возможно, не совсем по теме, но кто-нибудь в компании использовал PopSQL Enterprise? Хотелось бы фидбек услышать + по расценкам узнать