RI
это ошибка юайки
юай работает?
юай работает?
юай работает, это же spark history server ?
Size: a a a
2019 August 06
GP
я про юай драйвера
GP
когда стартуешь джобу он пишет что-то типа
Successfully started service 'XUI' on port xxxxRI
я про юай драйвера
Спс, сейчас погляжу. Просто странно. Такое происходит только если указываешь внешнюю зависимость через —jar
GP
може чего-то не хватает такой зависиомсти или она чтото перекрывает
RI
може чего-то не хватает такой зависиомсти или она чтото перекрывает
Я правильно понимаю, что джоба подвисает, и юай умирает, а ярн пытается найти ее по адресу, на котором ее уже нет?
GP
Я правильно понимаю, что джоба подвисает, и юай умирает, а ярн пытается найти ее по адресу, на котором ее уже нет?
Я думаю что зависимости какие-то эвиктятся и этот ворн о картинке лишь знак что что-то не так в зависимостях и под капотом все может валится из-за этого
RI
Я думаю что зависимости какие-то эвиктятся и этот ворн о картинке лишь знак что что-то не так в зависимостях и под капотом все может валится из-за этого
Спс,буду копать
GP
нужен нормальный трейс и логи
EN
Есть тоже вопрос. Узи 4.2, hdp 2.6.5
При попытке запустить приложение Spark2:
Main class [org.apache.oozie.action.hadoop.SparkMain], exit code [1]
При попытке запустить приложение через shell: spark-submit —class jar
Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1]
—-
Но пример cпарк узи отрабатывает отлично SparkFileCopy
При попытке запустить приложение Spark2:
Main class [org.apache.oozie.action.hadoop.SparkMain], exit code [1]
При попытке запустить приложение через shell: spark-submit —class jar
Main class [org.apache.oozie.action.hadoop.ShellMain], exit code [1]
—-
Но пример cпарк узи отрабатывает отлично SparkFileCopy
ПФ
@krivdathetriewe а вот смотри как интересно: в mapGroups можно сделать
some.map(_.another).reduceLeft(Math.max(_, _)), но нельзя вместо Math.max`сделать, например `Seq(_,_).maxAZ
@krivdathetriewe а вот смотри как интересно: в mapGroups можно сделать
some.map(_.another).reduceLeft(Math.max(_, _)), но нельзя вместо Math.max`сделать, например `Seq(_,_).maxа что вы сделать-то пытаетесь?
ПФ
Пытаюсь в группе найти максимальную строку
GP
@krivdathetriewe а вот смотри как интересно: в mapGroups можно сделать
some.map(_.another).reduceLeft(Math.max(_, _)), но нельзя вместо Math.max`сделать, например `Seq(_,_).maxа какую ошибку выкидывает?
ПФ
java.lang.UnsupportedOperationException: empty.maxПФ
Конечно же итератор туда приходит не пустой
ПФ
Но, подозреваю, дело может быть где-то вокруг ленивости
GP
Но, подозреваю, дело может быть где-то вокруг ленивости
для интереса принтани переменные в редьюсе
AZ
Пытаюсь в группе найти максимальную строку
в группе у KeyValueGroupedDataset?
ПФ
для интереса принтани переменные в редьюсе
ну оно не принтается