Телеграмм чат группы moscowspark страница 725

Size: a a a

Moscow Spark

2021 July 21

а всё понял, спасибо!

filter_final_fd = final_ddf.where((F.col("date_rep") == F.lit('2021-01-04')) | (F.col("date_rep") == F.lit('2021-01-02')))

источник

19:12пожаловаться #1

Dmitry in Moscow Spark

Привет! Помогите, плз, чет туплю. Засылаю через spark-submit питонячую джобу в ярн, хочу врубить дебаг уровень логирования для джавового рантайма на драйвере.\

Почему --condf spark.driver.extraJavaOptions=-Dlog4j.rootLogger=DEBUG не канает, что нужно еще добавить? в stderr гадит >= INFO. Проставление rootLogger=WARN при этом работает

Пробовал явно указывать console аппендер, и явно console + проставление Threshold=DEBUG

Я не джавист и видимо что-то упускаю / не знаю

источник

21:30пожаловаться #2

Nikita Blagodarnyy in Moscow Spark

Подложи в ресурсы джарника правильный лог4ж конфиг

источник

21:34пожаловаться #3

Nikita Blagodarnyy in Moscow Spark

И сделай конфигурейшн.лоад его

источник

21:34пожаловаться #4

Nikita Blagodarnyy in Moscow Spark

Тогда засосет

источник

21:35пожаловаться #5

Nikita Blagodarnyy in Moscow Spark

Иначе будет брать дефолтный из спарк хоума

источник

21:35пожаловаться #6

Nikita Blagodarnyy in Moscow Spark

А, у тебя пыхтон

источник

21:36пожаловаться #7

Nikita Blagodarnyy in Moscow Spark

Тогда попробуй лог4ж подсунуть через --files

источник

21:36пожаловаться #8

Nikita Blagodarnyy in Moscow Spark

Или правь дефолтный

источник

21:36пожаловаться #9

Dmitry in Moscow Spark

А разве то, что проброшено через -D, не имеет приоритет над пропертями из log4j.properties? Хотелось именно райнтаймово зафигачить

источник

21:37пожаловаться #10

KrivdaTheTriewe in Moscow Spark

А как вы проьрачываете

источник

21:38пожаловаться #11

KrivdaTheTriewe in Moscow Spark

Там отдельные проперти для флагов жвм у Спарк сабмита

источник

21:39пожаловаться #12

Dmitry in Moscow Spark

`--conf spark.driver.extraJavaOptions=-Dlog4j.rootLogger=DEBUG`

в ярновом launch_container.sh вижу в конце


exec /bin/bash -c "$JAVA_HOME/bin/java -server -Xmx2048m -Djava.io.tmpdir=$PWD/tmp '-Dlog4j.rootLogger=DEBUG' -Dspark.yarn.app.container.log.dir=/home/ya  blablabla

источник

21:40пожаловаться #13

KrivdaTheTriewe in Moscow Spark

Пробрасываете

источник

21:44пожаловаться #14

МК

Михаил Королев... in Moscow Spark

можно прям в код spark.sparkContext.setLogLevel('WARN')

источник

21:49пожаловаться #15

МК

Михаил Королев... in Moscow Spark

только сработает после создания сессии...

источник

21:50пожаловаться #16

Dmitry in Moscow Spark

А почему не работает-то 🙂

источник

21:51пожаловаться #17

Grigory Pomadchin in Moscow Spark

не меняется уровень логгера?

источник

21:52пожаловаться #18

Grigory Pomadchin in Moscow Spark

наверное потому, что в пропертях что-то другое стоит; и не меняется
как вариант прокинь другие проперти с правильными лог левелами пакетов которые те нужны и будет работать

источник

21:53пожаловаться #19

Dmitry in Moscow Spark

ага, стандартно оно пишет с уровнем >= INFO

- проставление `-Dlog4j.rootLogger=WARN` поавшает ожидаемо трешолд, а
- `-Dlog4j.rootLogger=DEBUG` -- не опускает

источник

21:53пожаловаться #20