Телеграмм чат группы hadoopusers страница 1572

Size: a a a

Data Engineers

2019 August 23

Инженеры! При запуске spark job на кластере HDP 3.1 при чтении из паркета ошибка

java.lang.
IllegalAccessError: class org.apache.hadoop.hdfs.web.HftpFileSystem cannot access its superinterface org.apache.hadoop.hdfs.web.TokenAspect$TokenManagementDelegator

. При чтении из spark-shell и zeppelin все нормально.

источник

12:38пожаловаться #1

Eldar Nezametdinov in Data Engineers

Сорри 😏😏

источник

13:03пожаловаться #2

СХ

Старый Хрыч in Data Engineers

Паша Финкельштейн

девопс — это не человек

hh не согласен жаль с вами

источник

14:40пожаловаться #3

Anna Novikova in Data Engineers

hh ведь тоже не человек

источник

14:41пожаловаться #4

Grigory Pomadchin in Data Engineers

Rustam Iksanov

Инженеры! При запуске spark job на кластере HDP 3.1 при чтении из паркета ошибка

java.lang.
IllegalAccessError: class org.apache.hadoop.hdfs.web.HftpFileSystem cannot access its superinterface org.apache.hadoop.hdfs.web.TokenAspect$TokenManagementDelegator

. При чтении из spark-shell и zeppelin все нормально.

у тебя точно той версии хадуп в зависимостях джобы?

источник

15:30пожаловаться #5

Grigory Pomadchin in Data Engineers

из шелла работает наверное потому что не тащишь зависимости хадупа явно

источник

15:31пожаловаться #6

Grigory Pomadchin in Data Engineers

или версия спарка может быть еще не та

источник

15:31пожаловаться #7