AK
льете через jdbc?
да, через яндексовский jdbc драйвер
Size: a a a
2020 April 01
DZ
да, через яндексовский jdbc драйвер
свой рдд?
DZ
или только врайтер?
AK
тоже нет пока. Пока врайтер только
DZ
пушдауна пока не было. Автоматически схему определяет и заливает
а в чем фишка тогда без пушдауна?
DZ
тоже нет пока. Пока врайтер только
можешь пошарить?
AK
а в чем фишка тогда без пушдауна?
как такового пушдауна нет, был небольшой костыль, позволяющий прокинуть кастомное условие на вычитку
AK
можешь пошарить?
пошарить пока не могу, общаюсь с фирмой, чтобы заопенсорсили
DZ
ну ок, ты инсертами делал или через tsv/orc?
AK
в основном - это просто удобный API для спарка, чтобы можно было написать типа
df.write
.batchSize()
.shardBy(...)
//otherSettings
.clickhouse(cluster, url, table)
AK
ну ок, ты инсертами делал или через tsv/orc?
через jdbc драйвер, он инсерты делает, насколько я знаю
DZ
думаю да. просто у меня не получилось тупо подсунуть драйвер и делать write.jdbc
AK
тоже так пытался, это не сработает никак)
DZ
угу ддл ебаный
S
а кто нибудь дружил Clickhouse и спарк
Мы в итоге на Flink перешли для этого
DZ
Мы в итоге на Flink перешли для этого
чем помогло?
AK
ну мы эту штуку пилили, пока еще не было движка HDFS в КХ. Сейчас, возможно, это не было бы так актуально. Однако все пайпланы в фирме, насколько я знаю , работают через этот плагинчик)
S
чем помогло?
Есть готовый ivi sink
DZ
ну мы эту штуку пилили, пока еще не было движка HDFS в КХ. Сейчас, возможно, это не было бы так актуально. Однако все пайпланы в фирме, насколько я знаю , работают через этот плагинчик)
блин, у меня gs, и это боль
AK
блин, у меня gs, и это боль
если хочешь, могу в личку скинуть, когда(если) заопенсорсят