Size: a a a

2020 March 04

A

Alex in Data Engineers
ну вот он не работает, падает на попытке подключения
именно этот комит и исправляет этот недочёт

хортон его у себя вкомитила Mar 10, 2018
источник

A

Alex in Data Engineers
то есть если вы пользуетесь хортоном, то у вас оно работало уже давно
источник

A

Alex in Data Engineers
а вот попытка запустить ванильный апач спарк обречена на неудачу
источник

K

KrivdaTheTriewe in Data Engineers
Alex
а вот попытка запустить ванильный апач спарк обречена на неудачу
С external таблицами ?
источник

A

Alex in Data Engineers
и да, у нас почти все таблицы external
источник

A

Alex in Data Engineers
само подключение к хайв метастору не проходит
ещё до всяких таблиц
источник

K

KrivdaTheTriewe in Data Engineers
Alex
само подключение к хайв метастору не проходит
ещё до всяких таблиц
С какой ошибкой ?
источник

A

Alex in Data Engineers
сейчас не вспомню, ошибка была на протоколе, даже при попытаке скормить либы хайва 2.3
источник

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
Что за акаунтинг
сколько ресурсов какой джоб съел
источник
2020 March 05

EV

Eduard Vlasov in Data Engineers
Привет всем! Кто-то юзает Snowflake? Какие основные боли? :)
источник

ME

Max Efremov in Data Engineers
Eduard Vlasov
Привет всем! Кто-то юзает Snowflake? Какие основные боли? :)
Через web UI файлики медленно грузятся 😂
источник

EV

Eduard Vlasov in Data Engineers
😀
источник

AS

Andrey Smirnov in Data Engineers
пытаюсь сделать join cо стороны спарка к hbase таблице, join падает с java.lang.ClassNotFoundException: org.apache.hadoop.hbase.spark.SparkSQLPushDownFilter

при этом простая вычитка(sqlContext.read.options(Map(HBaseTableCatalog.tableCatalog->cat)).format("org.apache.hadoop.hbase.spark").load() работает (как и массовая запись).

мне надо в каждый регион сервер подложить jar?! в чем еще может быть проблема?
использую https://github.com/apache/hbase-connectors/tree/master/spark
spark 2.4.4 hbase 2.2.2 (ванильные)
источник

K

KrivdaTheTriewe in Data Engineers
кто nifi  в кубере держит?
источник

S

Stanislav in Data Engineers
Andrey Smirnov
пытаюсь сделать join cо стороны спарка к hbase таблице, join падает с java.lang.ClassNotFoundException: org.apache.hadoop.hbase.spark.SparkSQLPushDownFilter

при этом простая вычитка(sqlContext.read.options(Map(HBaseTableCatalog.tableCatalog->cat)).format("org.apache.hadoop.hbase.spark").load() работает (как и массовая запись).

мне надо в каждый регион сервер подложить jar?! в чем еще может быть проблема?
использую https://github.com/apache/hbase-connectors/tree/master/spark
spark 2.4.4 hbase 2.2.2 (ванильные)
источник

S

Stanislav in Data Engineers
оно?
источник

S

Stanislav in Data Engineers
KrivdaTheTriewe
кто nifi  в кубере держит?
а сам ушел с найфай митапа )
источник

S

Stanislav in Data Engineers
а вот дослушал бы!
источник

K

KrivdaTheTriewe in Data Engineers
Stanislav
а сам ушел с найфай митапа )
а там про это рассказывали?
источник

K

KrivdaTheTriewe in Data Engineers
думаю чем грузить с фтп консистентно много данных
источник