Господа. А какой способ передачи данных в HIVE самый адекватно быстрый? Есть цель, максимально быстро выкачивать данные с источника, и класть в партицированную таблицу в HIVE.
В качестве источника сейчас выступает HANA. И способ забора данных по jdbc.
Это раз в 5 быстрей старой схемы через pyrfc. Но все равно медленно.
Вот пытаюсь понять во что упираюсь. В сеть? В кол-во ядер\экзекьюторов? Или может вообще есть более быстрый способ грузить данные, и SPARK это костыль....
Господа. А какой способ передачи данных в HIVE самый адекватно быстрый? Есть цель, максимально быстро выкачивать данные с источника, и класть в партицированную таблицу в HIVE.
В качестве источника сейчас выступает HANA. И способ забора данных по jdbc.
Это раз в 5 быстрей старой схемы через pyrfc. Но все равно медленно.
Вот пытаюсь понять во что упираюсь. В сеть? В кол-во ядер\экзекьюторов? Или может вообще есть более быстрый способ грузить данные, и SPARK это костыль....
а в хану не можете упираться? может таблицы перед выгрузкой в память подгрузить?
Господа. А какой способ передачи данных в HIVE самый адекватно быстрый? Есть цель, максимально быстро выкачивать данные с источника, и класть в партицированную таблицу в HIVE.
В качестве источника сейчас выступает HANA. И способ забора данных по jdbc.
Это раз в 5 быстрей старой схемы через pyrfc. Но все равно медленно.
вы вкурсе что по jdbc к хане из внешних систем нельзя подключаться?