Size: a a a

2020 March 31

K

KrivdaTheTriewe in Data Engineers
но вообще пходу над на досуге написать сорс кастомный @pomadchin
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
а вам попадались случаи тысяч и десятков тысяч мелких таблиц? не жалко это спарком обстукивать?
скупом это бы не разгреблось никогда
источник

K

KrivdaTheTriewe in Data Engineers
оч дорогой старт
источник

AZ

Anton Zadorozhniy in Data Engineers
да, это не для скупа, для этого обычно берется/делается тул с мультиплексингом, там же еще инкремент надо делать, обычно в том же туле
источник

AZ

Anton Zadorozhniy in Data Engineers
в прошлом году написали такой на гошечке, обстукивать тысячи постгресов
источник

K

KrivdaTheTriewe in Data Engineers
а можно было cdc сделать
источник

AZ

Anton Zadorozhniy in Data Engineers
нет, обстучать оказалось сильно дешевле
источник

AZ

Anton Zadorozhniy in Data Engineers
там физически много инстансов, в них много мелких таблиц с разными схемами
источник

AZ

Anton Zadorozhniy in Data Engineers
такой большой инвентори
источник

K

KrivdaTheTriewe in Data Engineers
ну раскатать нормально все это добро опасам, бац, и у вас шина появиласьданных общая
источник

K

KrivdaTheTriewe in Data Engineers
и добавление таблички на уровне деплоймента происхоидт
источник

AZ

Anton Zadorozhniy in Data Engineers
осталось найти опсов чтобы каждый раз когда один из этих ПГ перезаливают побегут там конфигурить CDC
источник

AZ

Anton Zadorozhniy in Data Engineers
и шина там и так есть, это просто легаси огромной компании за которым кое-кто еще хочет присматривать
источник

AZ

Anton Zadorozhniy in Data Engineers
довезут все в облако и просто будут снапшоты RDS брать
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
осталось найти опсов чтобы каждый раз когда один из этих ПГ перезаливают побегут там конфигурить CDC
ansible ?
источник

K

KrivdaTheTriewe in Data Engineers
ну ладно, я сча немного лукавлю, но я вас понял
источник

AZ

Anton Zadorozhniy in Data Engineers
да-да, ansible пойдет смотреть кто опустил репликацию и переподнимать ее)
источник

AZ

Anton Zadorozhniy in Data Engineers
любой CDC надо поддерживать на источнике, хотя бы самую малость
источник

GP

Grigory Pomadchin in Data Engineers
KrivdaTheTriewe
но вообще пходу над на досуге написать сорс кастомный @pomadchin
ну можешь вместе посидеть поразвлекаться
источник

GP

Grigory Pomadchin in Data Engineers
экстримальное пограммирвание устроим
источник