EV
эт каждому свое, я тут вообще надысь написал на го выгружалку из пг в авро (там фиксированная схема, но очень много инстансов), запускается в 256 мегабайт контейнере 😊
А можно по подробнее про механизм выгрузки? WAL?
Size: a a a
2019 May 15
AP
Пробовал, по моему медленнее скупа, но время не замерял
Это смотря как его настроить.
AP
Тошнит от кибернетики бдсм. Дорогой шедулер.
BDM же использует Spark execution? Или она не может набор задач запустить поверх того же FAIR в Spark?
AZ
А можно по подробнее про механизм выгрузки? WAL?
просто lib/pq, по сути каждая выгрузка это select*, там таблчики мелкие и сложность именно в том чтобы быстро обстучать много инстансов
N
Alexander Piminov
BDM же использует Spark execution? Или она не может набор задач запустить поверх того же FAIR в Spark?
Может. Но слишком много геморроя. Шедулер, к примеру, не работает вообще, если деплоить апп от доменной учетки.
EV
Понял принял, спасибо
У меня тут задача с небольшой кучки шардов сгребать определенные данные в dwh, может у кого-то есть наводка куда гуглить
Бд постгрес, двх на хадупе
Таблиц мало но они большие, нужно тащить только изменения
У меня тут задача с небольшой кучки шардов сгребать определенные данные в dwh, может у кого-то есть наводка куда гуглить
Бд постгрес, двх на хадупе
Таблиц мало но они большие, нужно тащить только изменения
N
Alexander Piminov
BDM же использует Spark execution? Или она не может набор задач запустить поверх того же FAIR в Spark?
Через полтора месяца индусы сознались, что регекспы не работают. Регекспы блеать в etl средстве не работают!
AS
Понял принял, спасибо
У меня тут задача с небольшой кучки шардов сгребать определенные данные в dwh, может у кого-то есть наводка куда гуглить
Бд постгрес, двх на хадупе
Таблиц мало но они большие, нужно тащить только изменения
У меня тут задача с небольшой кучки шардов сгребать определенные данные в dwh, может у кого-то есть наводка куда гуглить
Бд постгрес, двх на хадупе
Таблиц мало но они большие, нужно тащить только изменения
Если есть кафка, то можно попробовать debezium...
Если есть nifi, то можно взглянуть сюда, хотя там было не готово https://www.google.com/url?q=https://community.hortonworks.com/questions/120943/nifi-postgresql-cdc.html&sa=U&ved=2ahUKEwiakqnm853iAhXloosKHRNBBt4QFjAAegQIAxAB&usg=AOvVaw10e0b6yCrK1YCpw676MDQL.
Если есть nifi, то можно взглянуть сюда, хотя там было не готово https://www.google.com/url?q=https://community.hortonworks.com/questions/120943/nifi-postgresql-cdc.html&sa=U&ved=2ahUKEwiakqnm853iAhXloosKHRNBBt4QFjAAegQIAxAB&usg=AOvVaw10e0b6yCrK1YCpw676MDQL.
VZ
Если есть кафка, то можно попробовать debezium...
Если есть nifi, то можно взглянуть сюда, хотя там было не готово https://www.google.com/url?q=https://community.hortonworks.com/questions/120943/nifi-postgresql-cdc.html&sa=U&ved=2ahUKEwiakqnm853iAhXloosKHRNBBt4QFjAAegQIAxAB&usg=AOvVaw10e0b6yCrK1YCpw676MDQL.
Если есть nifi, то можно взглянуть сюда, хотя там было не готово https://www.google.com/url?q=https://community.hortonworks.com/questions/120943/nifi-postgresql-cdc.html&sa=U&ved=2ahUKEwiakqnm853iAhXloosKHRNBBt4QFjAAegQIAxAB&usg=AOvVaw10e0b6yCrK1YCpw676MDQL.
С дебезиумом есть саксесс стори?)
EV
Если есть кафка, то можно попробовать debezium...
Если есть nifi, то можно взглянуть сюда, хотя там было не готово https://www.google.com/url?q=https://community.hortonworks.com/questions/120943/nifi-postgresql-cdc.html&sa=U&ved=2ahUKEwiakqnm853iAhXloosKHRNBBt4QFjAAegQIAxAB&usg=AOvVaw10e0b6yCrK1YCpw676MDQL.
Если есть nifi, то можно взглянуть сюда, хотя там было не готово https://www.google.com/url?q=https://community.hortonworks.com/questions/120943/nifi-postgresql-cdc.html&sa=U&ved=2ahUKEwiakqnm853iAhXloosKHRNBBt4QFjAAegQIAxAB&usg=AOvVaw10e0b6yCrK1YCpw676MDQL.
есть кафка, тоже думал о дебезиум
но руки пока не дошли
но руки пока не дошли
AS
С дебезиумом есть саксесс стори?)
У меня не дошло, были трудности с админами бд, написали свой велосипед на спарке, для таблиц с полем таймстемпа получилось инкриментально грузить и получать обновления, а у которых нет - просто переписывали таблицу с новой версией...
НК
GP
🔹 25 мая Machine Learning meetup в Воронеже
https://metaconf.net и регистрация тут https://railsclub.timepad.ru/event/964369/?utm_refcode=50e1011add172a9cd13d06de2ae61668a374ce96
🔹 21 мая Apache Ignite Meetup: https://t.me/data_meetups_moscow/43
https://metaconf.net и регистрация тут https://railsclub.timepad.ru/event/964369/?utm_refcode=50e1011add172a9cd13d06de2ae61668a374ce96
🔹 21 мая Apache Ignite Meetup: https://t.me/data_meetups_moscow/43
N
А прогрессивное человечество нынче на openjdk сидит или на оракловом?
A
У нас все переведено на опен
A
Насколько помню сборка от центоса что в репах идёт
A
Оракла не осталось, платить не хотим :)
СХ
в любом случае потом надо платную джаву брать
СХ
если хотите хип более 500 гб иметь
СХ
причём не оракловую