Size: a a a

2020 April 02

ME

Mikhail Epikhin in Data Engineers
Он из http забирать умеет
источник

АЖ

Андрей Жуков in Data Engineers
s3?
источник

DZ

Dmitry Zuev in Data Engineers
Mikhail Epikhin
Он из http забирать умеет
А это прям оч быстро
(Не думаю)
источник

DZ

Dmitry Zuev in Data Engineers
Хуже, гс
источник

ME

Mikhail Epikhin in Data Engineers
Из S3 только без авторизации вроде
источник

ME

Mikhail Epikhin in Data Engineers
Я слышал что только приделывают
источник

DZ

Dmitry Zuev in Data Engineers
Mikhail Epikhin
Из S3 только без авторизации вроде
Ну это не проблема в целом
источник

АЖ

Андрей Жуков in Data Engineers
Mikhail Epikhin
Из S3 только без авторизации вроде
блин, я думал, уже запилили
источник

ME

Mikhail Epikhin in Data Engineers
Возможно у меня устаревшая информация
источник

ME

Mikhail Epikhin in Data Engineers
Я нечастый пользователь CH
источник

DZ

Dmitry Zuev in Data Engineers
Mikhail Epikhin
Я нечастый пользователь CH
Я вот даже думаю, может спарком сложить результаты в гс, потом на какую-нибудь ноду кх их затаскивать и делать инсерт из паркета.
источник

ME

Mikhail Epikhin in Data Engineers
Dmitry Zuev
На дефлтном 1к оч медленно
Так а не смотрели почему медленно? Во что упирается? Сам jdbc драйвер плохо написан?
источник

АЖ

Андрей Жуков in Data Engineers
Dmitry Zuev
Я вот даже думаю, может спарком сложить результаты в гс, потом на какую-нибудь ноду кх их затаскивать и делать инсерт из паркета.
мы так постгрес хачили, когда у нас пригорело с ждбс его родного
источник

DZ

Dmitry Zuev in Data Engineers
Mikhail Epikhin
Так а не смотрели почему медленно? Во что упирается? Сам jdbc драйвер плохо написан?
Ещё не успел. Просто тот же батч в пг уходит за несколько минут. В кх еле еле
источник

DZ

Dmitry Zuev in Data Engineers
Андрей Жуков
мы так постгрес хачили, когда у нас пригорело с ждбс его родного
Или я вообще грешным делом думаю минио поднять под это
источник

АЖ

Андрей Жуков in Data Engineers
Dmitry Zuev
Или я вообще грешным делом думаю минио поднять под это
осторожнее, а то будет как с трубкой и ватсоном
источник

DZ

Dmitry Zuev in Data Engineers
Андрей Жуков
осторожнее, а то будет как с трубкой и ватсоном
источник

ME

Mikhail Epikhin in Data Engineers
Dmitry Zuev
Ещё не успел. Просто тот же батч в пг уходит за несколько минут. В кх еле еле
Ну тогда звучит как баг в jdbc, надо бы это в сторонке воспроизвести как-нибудь, подебажить и заслать патч на починку
источник

ME

Mikhail Epikhin in Data Engineers
Мне интересно это место, если покажете как воспроизвести, то могу какое-то время потратить чтобы починить
источник

DZ

Dmitry Zuev in Data Engineers
Mikhail Epikhin
Ну тогда звучит как баг в jdbc, надо бы это в сторонке воспроизвести как-нибудь, подебажить и заслать патч на починку
Какой баг то?
источник