Телеграмм чат группы hadoopusers страница 1339

Size: a a a

Data Engineers

2019 June 03

Можете подсказать- не могу понять, почему я могу прочитать паркет файл из s3a из консоли спарк, но получаю ошибку

py4j.protocol.Py4JJavaError: An error occurred while calling o38.parquet.
: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.s3a.S3AFileSystem not found

при попытке загрузить тот же файл из python c помощью pyspark

Жарника не хватает

источник

00:38пожаловаться #1

Oleg Alenkin in Data Engineers

KrivdaTheTriewe

Жарника не хватает

жарник?

источник

00:39пожаловаться #2

Grigory Pomadchin in Data Engineers

Oleg Alenkin

жарник?

не хватает hadoop-aws в зависимостях

источник

01:01пожаловаться #3

Grigory Pomadchin in Data Engineers

https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-aws

источник

01:01пожаловаться #4

Oleg Alenkin in Data Engineers

Спасибо :) То, что нужно

источник

01:17пожаловаться #5

Oleksandr Olgashko in Data Engineers

http://spark.apache.org/news/plan-for-dropping-python-2-support.html

источник

19:24пожаловаться #6

Oleksandr Olgashko in Data Engineers

всем открыть шампанское

источник

19:24пожаловаться #7

ЕГ

Евгений Глотов in Data Engineers

А когда в юпитере по умолчанию ноутбучик будет на 3 питоне?)

источник

19:25пожаловаться #8

Alex in Data Engineers

так он и так на третьем же крутится

источник

19:26пожаловаться #9

ЕГ

Евгений Глотов in Data Engineers

Вроде нет

источник

19:26пожаловаться #10

ЕГ

Евгений Глотов in Data Engineers

Всё равно второй вылезает)

источник

19:26пожаловаться #11

ЕГ

Евгений Глотов in Data Engineers

Или это надо было умудриться так поставить, чтоб вылезал второй?)

источник

19:27пожаловаться #12

Alex in Data Engineers

Python 3.7.1

источник

19:29пожаловаться #13

Alex in Data Engineers

в моем случае

источник

19:29пожаловаться #14

Alex in Data Engineers

хотя нужно сказать что это не офф сборка docker image от самого джупайтера, просто модули нотебука и тд поставлены через pip

источник

19:30пожаловаться #15

Alex in Data Engineers

так как дефолтные image на убунте, а нам админы поставили требование centos

источник

19:31пожаловаться #16

Alex in Data Engineers

у меня больше другой вопрос: когда сам нотебук сервер будет на норм языке, а не на пистоне? =(

источник

19:33пожаловаться #17

ЕГ

Евгений Глотов in Data Engineers

Да ладно, ща все сервера на питоне, джанго всякий там)

источник

19:34пожаловаться #18

Alex in Data Engineers

у jupyter внутри торнадо, с его event loop и сам джупайтер пейсатели любят ставить time.sleep(...)
что стопает всё =\

из разряда: одно неосторожное движение и курит вся команда

источник

19:36пожаловаться #19

ЕГ

Евгений Глотов in Data Engineers

У нас каждый сам юпитер поднимает

источник

19:38пожаловаться #20