O
Там вроде вебинар скоро, можешь в лоб спросить
Дадите ссыль?
Size: a a a
2019 June 27
АЖ
Дадите ссыль?
оказывается, уже был 🙁
но можно запись глянуть https://go.pardot.com/e/593381/oadmap-EMEA-Webinar-2019-06-25/25hvw18/740854455
но можно запись глянуть https://go.pardot.com/e/593381/oadmap-EMEA-Webinar-2019-06-25/25hvw18/740854455
OP
А что делать если /tmp/blockmgr-* засоряется спарком ?
ЕГ
Чистить руками, делать так, чтобы ваши джобы не падали
ЕГ
Вернее не джобы, а сессии
ЕГ
Если вырубить сессию посередине выполнения джоба, она оставит такой вот мусор
OP
А, это только при падении, спасибо)
OP
А персисты не оставляют после себя ничего ?
OP
Только если опять таки упадет жоба?
ЕГ
А спарк в локальном режиме?
OP
пока да
ЕГ
Не, персист по идее должен дропаться
ЕГ
А хотя стоп, если выключать много джобов посередине, то тоже остаётся мусор
ЕГ
Или если джоб упал просто
ЕГ
Не удаляется
ЕГ
И на нодах, где экзекуторы, темп можно так неплохо забить, если сессия годами будет висеть
ЕГ
Но при закрытии сессии этот темп будет удаляться
ЕГ
Который в <...>/yarn/usercache
ЕГ
Но в локальном именно падение сессии вызывает накопление мусора
AB
Всем привет
Не подскажите как понять какую именно версию spark используют депенденси от cloudera?
Например:
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.2.0.cloudera1</version>
Какую версию спарка имеет эта депенденси под капотом ? Т.е. я хочу понять чем отличается "оригинальные" версии спарка (например 1.6.0) от версии cloudera ?
Не подскажите как понять какую именно версию spark используют депенденси от cloudera?
Например:
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.2.0.cloudera1</version>
Какую версию спарка имеет эта депенденси под капотом ? Т.е. я хочу понять чем отличается "оригинальные" версии спарка (например 1.6.0) от версии cloudera ?