Size: a a a

2019 August 25

GP

Grigory Pomadchin in Data Engineers
Если ты заметил то в юае спарка отдельной графой показывается гц тайм
источник

ПФ

Паша Финкельштейн in Data Engineers
Grigory Pomadchin
Если ты заметил то в юае спарка отдельной графой показывается гц тайм
Да, конечно
источник

ПФ

Паша Финкельштейн in Data Engineers
И он очень сильно меняется в зависимости от гц
источник

GP

Grigory Pomadchin in Data Engineers
если у тебя гц оч долгий будет в конце концов повиснет ехекутор
источник

ПФ

Паша Финкельштейн in Data Engineers
Но мне кажется они его неадекватно меряют
источник

GP

Grigory Pomadchin in Data Engineers
И ничего делать не будет кроме как чистить
источник

ПФ

Паша Финкельштейн in Data Engineers
Да, я понимаю
источник

GP

Grigory Pomadchin in Data Engineers
Он чистит партиции
источник

GP

Grigory Pomadchin in Data Engineers
чем жирнее партиции тем тяжелее чистить
источник

ПФ

Паша Финкельштейн in Data Engineers
Это может произойти с любым гц. Если время на гц занимает 99 процентов времени исполнения - это считается ООМ
источник

GP

Grigory Pomadchin in Data Engineers
Конечно
источник

ПФ

Паша Финкельштейн in Data Engineers
Grigory Pomadchin
чем жирнее партиции тем тяжелее чистить
Уверен? Звучит не очень логично.
источник

ПФ

Паша Финкельштейн in Data Engineers
Кажется чистить большие объекты очень просто
источник

GP

Grigory Pomadchin in Data Engineers
Паша Финкельштейн
Уверен? Звучит не очень логично.
Кончено уверен; жирнота по кол-ву мелких обектов
источник

GP

Grigory Pomadchin in Data Engineers
а не по ращмеру
источник

ПФ

Паша Финкельштейн in Data Engineers
А, понял
источник

ПФ

Паша Финкельштейн in Data Engineers
Ок, логично
источник

GP

Grigory Pomadchin in Data Engineers
Все партиции все пытаются сохранять маленькими в районе 128мб
источник

ПФ

Паша Финкельштейн in Data Engineers
Если партиция не в оффхипе - какая разница какого она размера? Всё равно надо всё регионы помаркать свободным
источник

ПФ

Паша Финкельштейн in Data Engineers
А в оффхипе можно было бы отмапленные страницы помечать чистыми.
источник