R
так вот собственно я сделал exclude старой версии - а падает все равно(
<exclusions>
<exclusion>
<groupId>org.slf4j</groupId>
<artifactId>log4j-over-slf4j</artifactId>
</exclusion>
</exclusions>
Size: a a a
2019 September 26
R
вот таким способом:
RI
так вот собственно я сделал exclude старой версии - а падает все равно(
я так делал
excludeDependencies ++= Seq("org.slf4j" % "slf4j-log4j12", "ch.qos.logback" % "logback-classic")A
Посмотреть dependency tree, может ещё откуда влетает
R
Вот так можно вывести все места, отквд сможет тянуться либа
R
mvn dependency:tree -Dverbose -Dincludes=org.apache.commons:commons-lang3
R
Тоько вместо commons, нужно подставить то, что вам нужно
C
Elena Ефимов has been banned! Reason: CAS ban.
神
Добрый вечер. Spark structured streaming, забираем данные из kafka. Есть жирный топик с "толстыми" записями. 1)Пухнет user cache на локальной fs. 2) все экзекуторы на одной ноде. В результате валится джоб по невозможности записать данные в каталог.
M
神風
Добрый вечер. Spark structured streaming, забираем данные из kafka. Есть жирный топик с "толстыми" записями. 1)Пухнет user cache на локальной fs. 2) все экзекуторы на одной ноде. В результате валится джоб по невозможности записать данные в каталог.
Разносите по разным
M
2019 September 27
GP
Ну из описания действительно, только такой ответ напрашивается
神
Ок. Подписываюсь на 1 топик, в котором 8 партиций, селекчу партицию, офсет, ключ, значение. Вижу 8 активных тасков на 8 экзекуторах, но они всегда на одной ноде. Из-за этого распухает usercache на локальной фс, кончается место и все умирает.
神
Нашёл. Each Kafka partition is matched to a spark core, not executor (one spark core can have multiple Kafka partitions but each Kafka partition will have exactly one core). Остальные экзекутеры появляются на этапе сохранения с партиционированием.
t
ярн?
神
Ярн cluster
t
нод менеджеры все живые?
神
Выдал 8 корей на экзекутор, остался один экзекутор)
t
макс капасити на ярне настраивал?