ЕГ
Да
Size: a a a
2022 February 09
ЕГ
Оптимизатор говорит досвидос
PZ
хм. Мне казалось, что на 2.4 оптимизатор с этим справлялся, но могу ошибаться, проверить сейчас не на чем 🙁
ЕГ
Вчера прост проверял😐
ЕГ
Третий всё правильно делает
ЕГ
Питонистка?🤔
k
кто-нибудь заводил опенсорсный delta lake в spark streaming на аутпуте? с merge по ключу
таргетный датасет > 400 ТБ, в день прилетает около 2 - 3 TБ, партицировано по часам, merge / dedup ожидаемый будет затрагивать партиции не старше 3 дней
таргетный датасет > 400 ТБ, в день прилетает около 2 - 3 TБ, партицировано по часам, merge / dedup ожидаемый будет затрагивать партиции не старше 3 дней
k
вот думаю, что первым попробовать. spark streaming + delta или flink + iceberg
2022 February 10
k
файловая система - hdfs. сам app будет на кубере
k
но в целом пока что боязно доверять дельте или айсбергу критичечкий landing area 🤔 на данный момент делается наиболее просто - append и усе, а dedup - дальше понеобходимости
ЕГ
10тб чёт мне кажется загнётся лопатить
ЕГ
Три партиции отдедупить руками проще
k
да вот и я думаю. до сих пор эти модные упсерт-балалайки использовал только в ситуациях, когда golden source был всегда доступен, можно было заново загузить, если табличка коррупнется.
а тут даже не знаю.. landing area хочется сделать максимально простым. но, может, так уже не модно?
а тут даже не знаю.. landing area хочется сделать максимально простым. но, может, так уже не модно?
ЕГ
Делай простым, не похеришь данные
ЕГ
Затачиваться на шлак, который ещё не в репо спарка, так себе варик
ЕГ
Да и спарк в последнее время надо внимательнее проверять
DZ
Ну вот да, вроде логично использовать дельта движок, хз правда как в твоём кейсе айсберг поможет, а вроде и пересчитать 3 партиции по старинке просто
T
Это вам в девопс чат
DZ
Сейчас хрыч прибежит
ПФ
Я справился