M
По double вы все равно также не заджойните, а джоин int/null должен нормально и быстро работать
Size: a a a
2020 June 03
AK
Ещё как варик можно целую и дробную часть разделить в два поля. Но хз)
AK
Timur Zalimov
Просто во 2ой табличке для джойна Id изначально идёт int
Вот это интересно, ID т.е. в одной точно целый всегда, а в другой чёрти что?
TZ
2 разных базы
TZ
В одной id как int а в другой как number, но по сути он целочисленный просто number(9,0) например
IK
Я ставил jar по инструкции
thx
AK
Timur Zalimov
В одной id как int а в другой как number, но по сути он целочисленный просто number(9,0) например
Или number(9,1), но по факту там целые, ага?)
TZ
Или так ))) вот и сижу думаю как быть
2020 June 04
G
Может у кого то был опыт сброса данных в таблицы RDBMS
Меня интересует UpSert
База PostgreSQL
Понимаю что у Spark сохранение данных в базу RDBMS не целевая функция. Но у меня в архитектуре приложения пока к сожалению другого решентя нет
Меня интересует UpSert
База PostgreSQL
Понимаю что у Spark сохранение данных в базу RDBMS не целевая функция. Но у меня в архитектуре приложения пока к сожалению другого решентя нет
G
Основная проблема - таблицы имеют foren key
ЕГ
Если есть хоть какие-то зависимости от выгружаемого, лучше выгружать в темп таблицу, а потом средствами СУБД мёрджить
DZ
Апсерт в пг не самая быстрая штука
G
Евгений Глотов
Если есть хоть какие-то зависимости от выгружаемого, лучше выгружать в темп таблицу, а потом средствами СУБД мёрджить
Ну вот сейчас как то так сделали. Проблема в том что данных много и хочется не гонять их из слоя в слой а сразу положить для работы
G
Апсерт в пг не самая быстрая штука
Ага. Вот сейчас рассматриваю возможность просто кидать в отдельные партиции с разной версией. Думаю так будет быстрее
ЕГ
Если таск записи в бд упадёт, он не почистит за собой записанные строки
O
Если вставлять батчами в транзакции или даже сделать COPY FROM, а потом добавить проверку вставленных данных, то все должно быть хорошо
O
Привет Геворг)
АЖ
Евгений Глотов
Если таск записи в бд упадёт, он не почистит за собой записанные строки
можно комит в конце только делать!
АЖ
но опасно
O
можно комит в конце только делать!
Это если всю вставку делать с мастера или синхронизироваться после того как все воркеры закончат