Size: a a a

2021 October 09

GP

Grigory Pomadchin in Data Engineers
название проги spark poop
источник

DZ

Dmitry Zuev in Data Engineers
А ты шаришь
источник

DZ

Dmitry Zuev in Data Engineers
Один раз, и использовать тысячу раз
источник

DZ

Dmitry Zuev in Data Engineers
Если так уж накидывать что jdbc ваще оверхед
источник

ЕГ

Евгений Глотов... in Data Engineers
В опенсорсе есть?)
источник

DZ

Dmitry Zuev in Data Engineers
Ща попробую сделать
источник

ЕГ

Евгений Глотов... in Data Engineers
источник

ЕГ

Евгений Глотов... in Data Engineers
источник

ЕГ

Евгений Глотов... in Data Engineers
Ну тип вместо скупа получается будешь
источник

DZ

Dmitry Zuev in Data Engineers
И 99% кейсов отлично решается psql copy to csv | hdfs dfs
источник

ЕГ

Евгений Глотов... in Data Engineers
Мне лично чем скуп не нравится - он работает через хайв
источник

ЕГ

Евгений Глотов... in Data Engineers
источник

ЕГ

Евгений Глотов... in Data Engineers
Csv
источник

DZ

Dmitry Zuev in Data Engineers
Он не работает через хайв если хайв не нужен
источник

ЕГ

Евгений Глотов... in Data Engineers
А в какой формат закладываешь, чем оркестрируешь загрузку?
источник

ЕГ

Евгений Глотов... in Data Engineers
Многопоточное?
источник

DZ

Dmitry Zuev in Data Engineers
И да, и нет. Тут я готов спорить долго
источник

DZ

Dmitry Zuev in Data Engineers
Не понимать
источник

ЕГ

Евгений Глотов... in Data Engineers
Да, кстати, чтоб записать блок паркета или орка 256 мегов, нужно 2 гига оперативы под данные
источник

ЕГ

Евгений Глотов... in Data Engineers
И чтоб считать, тоже)
источник