3. да

usercache это глобал настроки больше
дальше там он делится на appcache, если у вас несколько дистов то туда заливаются jar и конфиги, могут быть разбросаны по разным
потом готовится working dir для самого приложения, туда симлинками все jar и файлы с других дисков присобачиваются (поэтому приложению кажется что оно запускается и всё в рабочей папке доступно, на самом деле оно может быть размазано по многим дискам, сделано чтобы в момент параллельной закачки на этапе локализации приложения не упираться в 1 диск)
следом готовятся еще доп фолдеры (тоже внутри иерархии usercache) и отдаются как рабочие директории самому приложению

все эти директории на завершении приложения ярн зачищает

Неа

Фэйлд джоб не чистится, суксес вроде чистится, я это ещё давно проверял, когда ходуп совсем маленький был)

даже неуспешном чистится

отдельно можно указать delay через сколько чистить (помогает дебажить всякие апмастера или почему херня происходит)
а так же что упавшие не чистить

Тогда у нас что-то сильно не так

А какой конкретно параметр, не подскажешь? Я чёт с ходу не нашёл в нужный момент

Это же у спарка параметр, чтоб он чистил свой мусор?

нет, у самого ярна

вот не помню, нужно посмотреть, я помню была бага что у них контейнеры и стейт при падении не чистились
но в 3м вроде как этот тикет закрывали

Нуууу третий блин не у всех ещё есть)

Fix Version/s:
2.9.0, 3.0.0-beta1, 2.8.2

клоудера точно должна была себе затянуть такое =)

Тогда я, кажется, понял, почему у нас там помойка копится

@ExcellentName
https://aws.amazon.com/premiumsupport/knowledge-center/user-cache-disk-space-emr/

возможно ещё это будет интересным

Гляну, но это ж вряд ли с он-прем хадупом прокатит?

прокатит, там описаны generic настройки

но в основном как чистить кеш для долгоиграющих приложений

Тогда круто, спасибо!

Почему при касте стринга к числовому типу получаются null?
Значения в основном 0,00