Size: a a a

2021 October 13

ПФ

Паша Финкельштейн... in Data Engineers
Кроме багов
источник

K

KrivdaTheTriewe in Data Engineers
То есть интерфейсы не меняют ?
источник

ПФ

Паша Финкельштейн... in Data Engineers
Нет
источник

A

Aleksandr in Data Engineers
Всем привет. Есть вопрос - как соотносится размер паркетного файла с его размером в памяти спарка? Например, я джойню броадкаст джойном к большой таблице маленькую. Маленькая таблица хранится в паркете и весит 1ГБ. Это означает, что при броадкаст джойне на каждом экзекьюторе будет использоваться под эту таблицу 1ГБ оперативной памяти? Или нет?
источник

ПФ

Паша Финкельштейн... in Data Engineers
Новое добавляют, старое депрекейтят со специальным модификатором
источник

K

KrivdaTheTriewe in Data Engineers
Сразу скажу , что один гиг броадкаста это обычно много
источник

K

KrivdaTheTriewe in Data Engineers
А потом когда удалят
источник

A

Aleksandr in Data Engineers
ну давайте возьмем 100мб тогда
источник

A

Aleksandr in Data Engineers
сори, просто что-то нигде не могу про это инфу найти, возможно вопрос глупый
источник

K

KrivdaTheTriewe in Data Engineers
Ну ты же сериализцешь это в какую-то коллекцию
источник

K

KrivdaTheTriewe in Data Engineers
То есть скок коллекция будет весить , столько и скушаешь
источник

A

Aleksandr in Data Engineers
тогда получается, что в памяти оно должно прям заметно больше весить
источник

DZ

Dmitry Zuev in Data Engineers
Вопрос в чем? Какой коэф между паркетом на хдфс и таким же ДС?
источник

A

Aleksandr in Data Engineers
да
источник

DZ

Dmitry Zuev in Data Engineers
Мне кажется что четкого ответа нет. Вопрос к кардинальности данных точно
источник

A

Aleksandr in Data Engineers
а где-то можно почитать про это? мб какие-нибудь примеры есть?
источник

DZ

Dmitry Zuev in Data Engineers
Глобально читать про паркет и tungsten
источник

A

Aleksandr in Data Engineers
ок, спасибо
источник

A

Alex in Data Engineers
когда-нибудь в будущем
в тот момент и возникнет поломка

в java идут по этому же принципу введя доп метку forRemoval
https://docs.oracle.com/javase/9/core/enhanced-deprecation1.htm

@Deprecated(since="<version>")
<version> is the version when the API was deprecated. This is for informational purposes. The default is the empty string ("").

@Deprecated(forRemoval=<boolean>)
forRemoval=true indicates that the API is subject to removal in a future release.
forRemoval=false recommends that code should no longer use this API; however, there is no current intent to remove the API. This is the default value.

после метки на удаление вроде бы 2 релиза даётся чтобы переехать, потом удалят
источник

ЕГ

Евгений Глотов... in Data Engineers
В районе 8-10 коэф закладывайте
источник