Телеграмм чат группы moscowspark страница 141

2019 June 28

L

сюда https://t.me/nifiusers, но хочешь ты чего то странного

Apache NiFi users group

Взаимное уважение и без спама.
Для вакансий тег #job

Dual language: russian/english

почему странного?
флоу такой: я получаю данные из InvokeHttp и хочу положить их в базу с помощью процессора PutSQL

p.s. спасибо за чат

источник

17:29пожаловаться #1

2019 June 29

OP

O. Petr in Moscow Spark

Спарк со стримингом запущенный в кластер моде, но в самом приложении local[N], заваливает /tmp/blockmgr-* по 100мб в минуту, есть ли способ как то чистить во время его работы, пробовал по крону чистить все что старше часа, ругается что не находит их и вырубается. Можно как то по другому ?

источник

13:19пожаловаться #2

S

Stanislav in Moscow Spark

O. Petr

Спарк со стримингом запущенный в кластер моде, но в самом приложении local[N], заваливает /tmp/blockmgr-* по 100мб в минуту, есть ли способ как то чистить во время его работы, пробовал по крону чистить все что старше часа, ругается что не находит их и вырубается. Можно как то по другому ?

spark.worker.cleanup.* не работают?

источник

17:12пожаловаться #3

2019 July 01

EN

Eldar Nezametdinov in Moscow Spark

всем доброе утро

источник

10:27пожаловаться #4

EN

Eldar Nezametdinov in Moscow Spark

подскажите чего там со слиянием hortona и клаудэры..
чего в итоге то решили? будут опенсоурс билды? что будет в билдах? (время уже достаточно прошло)

источник

10:28пожаловаться #5

EN

Eldar Nezametdinov in Moscow Spark

и вообще вы юзаете hdp\cloudera или все сами ручками ?

источник

10:28пожаловаться #6

O

Oleg in Moscow Spark

The company also announced that CDH 5.x and 6.x and HDP 3.x will be supported through January 2022, which is in-line with previous guidance the company has given. This company believes that three years is plenty of time for customers to plan their migration paths from older CDH and HDP versions to the unified CDP product. Support for HDP 2.x will end before that time

источник

12:23пожаловаться #7

EN

Eldar Nezametdinov in Moscow Spark

оке, спасибо..

источник

12:28пожаловаться #8

SO

Simon Osipov in Moscow Spark

Привет, есть вопрос.
Есть Hive, есть 2.2.0 Spark. И есть IDE DataGrip.

Через DataGrip табличцу в Hive не вижу.
Веб-интерфейс тоже показывает 0 записей.

Однако чудодейственный Спарк видит все 280 тысяч записей в этой таблице (которые там должны быть).

Куда стоит смотреть, чтобы понять, в чем прикол?)

А то устал икать, когда утром открывают IDE, а там пустая таблица...

источник

15:29пожаловаться #9

A

Alexey in Moscow Spark

Simon Osipov

Привет, есть вопрос.
Есть Hive, есть 2.2.0 Spark. И есть IDE DataGrip.

Через DataGrip табличцу в Hive не вижу.
Веб-интерфейс тоже показывает 0 записей.

Однако чудодейственный Спарк видит все 280 тысяч записей в этой таблице (которые там должны быть).

Куда стоит смотреть, чтобы понять, в чем прикол?)

А то устал икать, когда утром открывают IDE, а там пустая таблица...

На всякий случай уточню, Spark честно читает данные через Hive (и какие параметры коннекта к metastore)?

источник

15:32пожаловаться #10

SO

Simon Osipov in Moscow Spark

в конфиге только hive.metastore.uris

источник

15:33пожаловаться #11

A

Alexey in Moscow Spark

Веб-интерфейс чего имеется ввиду?

источник

15:34пожаловаться #12

A

Alexander in Moscow Spark

Simon Osipov

Привет, есть вопрос.
Есть Hive, есть 2.2.0 Spark. И есть IDE DataGrip.

Через DataGrip табличцу в Hive не вижу.
Веб-интерфейс тоже показывает 0 записей.

Однако чудодейственный Спарк видит все 280 тысяч записей в этой таблице (которые там должны быть).

Куда стоит смотреть, чтобы понять, в чем прикол?)

А то устал икать, когда утром открывают IDE, а там пустая таблица...

какая версия Hive ?

источник

15:34пожаловаться #13

SO

Simon Osipov in Moscow Spark

Alexey

Веб-интерфейс чего имеется ввиду?

Ambari

источник

15:35пожаловаться #14

EN

Eldar Nezametdinov in Moscow Spark

прокси настроены (если есть), все ок?
только в этом клиенте не видно?

источник

15:36пожаловаться #15

SO

Simon Osipov in Moscow Spark

Alexander

какая версия Hive ?

-bash-4.2$ hive --version
Hive 1.2.1000.2.6.4.0-91

источник

15:36пожаловаться #16

SO

Simon Osipov in Moscow Spark

Eldar Nezametdinov

прокси настроены (если есть), все ок?
только в этом клиенте не видно?

На разных клиентских машинах ситуация идентична

источник

15:37пожаловаться #17

S

Stanislav in Moscow Spark

Simon Osipov

Привет, есть вопрос.
Есть Hive, есть 2.2.0 Spark. И есть IDE DataGrip.

Через DataGrip табличцу в Hive не вижу.
Веб-интерфейс тоже показывает 0 записей.

Однако чудодейственный Спарк видит все 280 тысяч записей в этой таблице (которые там должны быть).

Куда стоит смотреть, чтобы понять, в чем прикол?)

А то устал икать, когда утром открывают IDE, а там пустая таблица...

beeline попробуй

источник

15:47пожаловаться #18

S

Stanislav in Moscow Spark

Simon Osipov

в конфиге только hive.metastore.uris

точно не читает директорию таблицы?

источник

15:48пожаловаться #19

S

Stanislav in Moscow Spark

а именно через hive_context делает селект?

источник

15:48пожаловаться #20