Size: a a a

2020 April 02

DZ

Dmitry Zuev in Data Engineers
Вадим
Ребят, я слышал что тут была группа людей которая писала коннектор спарк-кликхаус. Есть у кого нибудь ссылка на репу, если это взлетело?
все что нагуглил вчера скорее мертво
источник

В

Вадим in Data Engineers
Dmitry Zuev
все что нагуглил вчера скорее мертво
источник

ES

Egor Semevskiy in Data Engineers
Коллеги. У кого есть книги актуальные по Hadoop , hive и spark?
источник

V

Vasiliy in Data Engineers
Нескромный вопрос, вы сразу три читаете?
источник

РА

Рамиль Ахмадеев in Data Engineers
вообще то есть не мало исследований говорящих что книги можно и даже нужно читать паралельно сразу несколько штук
источник

V

Vasiliy in Data Engineers
А сколько, не уточняется)?
источник

V

Vasiliy in Data Engineers
Просто есть https://hadoop.apache.org/docs/ так же спарк, хайв, etc...
источник

РА

Рамиль Ахмадеев in Data Engineers
столько, что бы когда тебе наскучит одну читать ты мог почитать другую и так пока снова не захочется первую
источник

V

Vasiliy in Data Engineers
И как бы там даже написано что для запуска того что там есть - за глаза
источник

РА

Рамиль Ахмадеев in Data Engineers
XDD
источник

АС

Артур Семенов in Data Engineers
Может кто посоветовать что-нибудь для быстрого входа в Спарк (pysaprk) ?
источник

DM

Daniel Matveev in Data Engineers
Артур Семенов
Может кто посоветовать что-нибудь для быстрого входа в Спарк (pysaprk) ?
документация и дедлайн
источник

N

Nikita Blagodarnyy in Data Engineers
Артур Семенов
Может кто посоветовать что-нибудь для быстрого входа в Спарк (pysaprk) ?
Спарк-контекст
источник

Д

Дмитрий in Data Engineers
Артур Семенов
Может кто посоветовать что-нибудь для быстрого входа в Спарк (pysaprk) ?
Рекомендую примеры в поставке спарка.
источник

АС

Артур Семенов in Data Engineers
Дмитрий
Рекомендую примеры в поставке спарка.
а чьл имеется ввиду под "поствкой спарка" ?
источник

Д

Дмитрий in Data Engineers
Когда инсталируешь у тебя получается каталог /usr/lib/spark/ в нем много интересного, в том числе и примеры. Ну или на кластере
источник

D

Dasha in Data Engineers
Коллеги, почему мог перестать работать интерпретатор %sql?
Error happens in sql: CREATE TABLE {…}
java.lang.reflect.InvocationTargetException ?
источник

D

Dasha in Data Engineers
Лог:
java.lang.reflect.InvocationTargetException
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.zeppelin.spark.SparkSqlInterpreter.internalInterpret(SparkSqlInterpreter.java:106)
at org.apache.zeppelin.interpreter.AbstractInterpreter.interpret(AbstractInterpreter.java:47)
at org.apache.zeppelin.interpreter.LazyOpenInterpreter.interpret(LazyOpenInterpreter.java:110)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:684)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:577)
at org.apache.zeppelin.scheduler.Job.run(Job.java:172)
at org.apache.zeppelin.scheduler.AbstractScheduler.runJob(AbstractScheduler.java:130)
at org.apache.zeppelin.scheduler.FIFOScheduler.lambda$runJobInScheduler$0(FIFOScheduler.java:39)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
Caused by: org.apache.spark.sql.catalyst.parser.ParseException:
mismatched input 'FROM' expecting {')', ','}(line 6, pos 14)
источник

G

George in Data Engineers
а сам "CREATE TABLE" есть?
источник

D

Dasha in Data Engineers
Ранее тот же запрос работал наромально
источник