Кроме багов

То есть интерфейсы не меняют ?

Нет

Всем привет. Есть вопрос - как соотносится размер паркетного файла с его размером в памяти спарка? Например, я джойню броадкаст джойном к большой таблице маленькую. Маленькая таблица хранится в паркете и весит 1ГБ. Это означает, что при броадкаст джойне на каждом экзекьюторе будет использоваться под эту таблицу 1ГБ оперативной памяти? Или нет?

Новое добавляют, старое депрекейтят со специальным модификатором

Сразу скажу , что один гиг броадкаста это обычно много

А потом когда удалят

ну давайте возьмем 100мб тогда

сори, просто что-то нигде не могу про это инфу найти, возможно вопрос глупый

Ну ты же сериализцешь это в какую-то коллекцию

То есть скок коллекция будет весить , столько и скушаешь

тогда получается, что в памяти оно должно прям заметно больше весить

Вопрос в чем? Какой коэф между паркетом на хдфс и таким же ДС?

да

Мне кажется что четкого ответа нет. Вопрос к кардинальности данных точно

а где-то можно почитать про это? мб какие-нибудь примеры есть?

Глобально читать про паркет и tungsten

ок, спасибо

когда-нибудь в будущем
в тот момент и возникнет поломка

в java идут по этому же принципу введя доп метку forRemoval
https://docs.oracle.com/javase/9/core/enhanced-deprecation1.htm

@Deprecated(since="<version>")
<version> is the version when the API was deprecated. This is for informational purposes. The default is the empty string ("").

@Deprecated(forRemoval=<boolean>)
forRemoval=true indicates that the API is subject to removal in a future release.
forRemoval=false recommends that code should no longer use this API; however, there is no current intent to remove the API. This is the default value.

после метки на удаление вроде бы 2 релиза даётся чтобы переехать, потом удалят

В районе 8-10 коэф закладывайте