DZ
Ребят, я слышал что тут была группа людей которая писала коннектор спарк-кликхаус. Есть у кого нибудь ссылка на репу, если это взлетело?
все что нагуглил вчера скорее мертво
Size: a a a
2020 April 02
В
все что нагуглил вчера скорее мертво
ES
Коллеги. У кого есть книги актуальные по Hadoop , hive и spark?
V
Нескромный вопрос, вы сразу три читаете?
РА
вообще то есть не мало исследований говорящих что книги можно и даже нужно читать паралельно сразу несколько штук
V
А сколько, не уточняется)?
V
Просто есть https://hadoop.apache.org/docs/ так же спарк, хайв, etc...
РА
столько, что бы когда тебе наскучит одну читать ты мог почитать другую и так пока снова не захочется первую
V
И как бы там даже написано что для запуска того что там есть - за глаза
РА
АС
Может кто посоветовать что-нибудь для быстрого входа в Спарк (pysaprk) ?
DM
Может кто посоветовать что-нибудь для быстрого входа в Спарк (pysaprk) ?
документация и дедлайн
N
Может кто посоветовать что-нибудь для быстрого входа в Спарк (pysaprk) ?
Спарк-контекст
Д
Может кто посоветовать что-нибудь для быстрого входа в Спарк (pysaprk) ?
Рекомендую примеры в поставке спарка.
АС
Рекомендую примеры в поставке спарка.
а чьл имеется ввиду под "поствкой спарка" ?
Д
Когда инсталируешь у тебя получается каталог /usr/lib/spark/ в нем много интересного, в том числе и примеры. Ну или на кластере
D
Коллеги, почему мог перестать работать интерпретатор %sql?
Error happens in sql: CREATE TABLE {…}java.lang.reflect.InvocationTargetException ?D
Лог:
java.lang.reflect.InvocationTargetException
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.zeppelin.spark.SparkSqlInterpreter.internalInterpret(SparkSqlInterpreter.java:106)
at org.apache.zeppelin.interpreter.AbstractInterpreter.interpret(AbstractInterpreter.java:47)
at org.apache.zeppelin.interpreter.LazyOpenInterpreter.interpret(LazyOpenInterpreter.java:110)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:684)
at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:577)
at org.apache.zeppelin.scheduler.Job.run(Job.java:172)
at org.apache.zeppelin.scheduler.AbstractScheduler.runJob(AbstractScheduler.java:130)
at org.apache.zeppelin.scheduler.FIFOScheduler.lambda$runJobInScheduler$0(FIFOScheduler.java:39)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
Caused by: org.apache.spark.sql.catalyst.parser.ParseException:
mismatched input 'FROM' expecting {')', ','}(line 6, pos 14)
G
а сам "CREATE TABLE" есть?
D
Ранее тот же запрос работал наромально