AZ
Мелкомягкая
а чего тогда без проприетарного? 😊
Size: a a a
2019 May 15
N
Тошнит от кибернетики бдсм. Дорогой шедулер.
K
Можно датакапчур сделать
K
Но мы мелкие таблицы можем снапшотить, крупные раз в день всю переливаем
N
Spark jdbc никто под это не юзал?
A
Spark jdbc никто под это не юзал?
Пробовал, по моему медленнее скупа, но время не замерял
K
Spark jdbc никто под это не юзал?
Его родного
AZ
я писал свои экстракторы (как раз для sybase/mssql, bcp хе-хе)
AZ
кмк если разово - проще скупом дернуть
AZ
если нужно грузить из большого парка баз, да еще где много мелких табличек - проще свой экстрактор написать который красивые файлы плодит
AZ
проблема со скупом или любым другим процессом порождающим MR - большой оверхед; когда количество таблиц идет на сотни и тысячи, и бОльшая часть из них мелкие - сложно такое обосновать
K
проблема со скупом или любым другим процессом порождающим MR - большой оверхед; когда количество таблиц идет на сотни и тысячи, и бОльшая часть из них мелкие - сложно такое обосновать
Мы поэтому сделали на спарке
AZ
эт каждому свое, я тут вообще надысь написал на го выгружалку из пг в авро (там фиксированная схема, но очень много инстансов), запускается в 256 мегабайт контейнере 😊
K
эт каждому свое, я тут вообще надысь написал на го выгружалку из пг в авро (там фиксированная схема, но очень много инстансов), запускается в 256 мегабайт контейнере 😊
Ну круто
K
Просто если сотни тысяч, можно загрузку в рамках одной джобы сделать
K
Нескольких таблиц
N
Таблиц больше 5 тыс и многие в основном мелкие.
AP
Spark jdbc никто под это не юзал?
Он + framework поверх него для формирования и распределения загрузки, грузит много таблиц (3К+) инкрементально в много потоков, используя FAIR.
K
Таблиц больше 5 тыс и многие в основном мелкие.
Сделайте спарк джобу которая умеет принимать на вход конфиг со списком таблиц
K
И несколько джоб можно пускать