Телеграмм чат группы hadoopusers страница 2047

Size: a a a

Data Engineers

1776 membersпожаловаться на группу

2020 February 10

Sergey Sheremeta in Data Engineers

Denis Gabaydulin

А как это вообще делать? Не поллить же hbase? )

притвориться Peer RegionServer’ом и продюсить в божественную Кафку

источник

16:45пожаловаться #1

Grigory Pomadchin in Data Engineers

Sergey Sheremeta

дяденьки, здравствуйте!
вы не прикручивали такое - https://github.com/apache/hbase-connectors к HBase 1.4.* ?
хочется странного - сливать мутации HBase в богоугодную Кафку

GitHub

apache/hbase-connectors

Apache HBase Connectors. Contribute to apache/hbase-connectors development by creating an account on GitHub.

да переделай
задаунгрейдь депенсю
не думаю что там прям свосем вся апиха новая юзается

источник

17:06пожаловаться #2

Sergey Sheremeta in Data Engineers

дак лень-матушка, но похоже так и придется сделать

источник

17:07пожаловаться #3

Stanislav in Data Engineers

а дальше то что? из кафки куда это все? она не станет узким местом на нагруженном хбейзе?

источник

17:12пожаловаться #4

Sergey Sheremeta in Data Engineers

так далеко я не думал )

источник

17:15пожаловаться #5

Stanislav in Data Engineers

Норм :)

источник

17:23пожаловаться #6

Nikita Blagodarnyy in Data Engineers

Stanislav

а дальше то что? из кафки куда это все? она не станет узким местом на нагруженном хбейзе?

из кафки в aerospike перекладывать.

источник

17:30пожаловаться #7

Stanislav in Data Engineers

Не боитесь разъезда данных от Кафки? Если у вас мутейты и надо держать стейт, Кафка должна быть ненагруженная
А у вас вроде поток то не такой уж маленький

источник

18:24пожаловаться #8

Stanislav in Data Engineers

Дампами с снепшотов по крайней мере стейт верный переезжает

источник

18:25пожаловаться #9

Anton Zadorozhniy in Data Engineers

думаю это шутка про аэроспайк была

источник

18:43пожаловаться #10

Rustam Iksanov in Data Engineers

Коллеги, как мне с локального спарка достучаться до hdfs под керберосом? spark.yarn.keytab не помогает

источник

22:19пожаловаться #11

ЕГ

Евгений Глотов in Data Engineers

Rustam Iksanov

Коллеги, как мне с локального спарка достучаться до hdfs под керберосом? spark.yarn.keytab не помогает

https://community.cloudera.com/t5/Support-Questions/Is-it-possible-run-Spark-in-local-mode-against-a-kerberized/m-p/211601/highlight/true#M173543
Там ещё несколько параметров, плюс нужен krb5.conf файлик, который совпадает с таковым на кластере

Cloudera

Re: Is it possible run Spark in local mode against a kerberized cluster

@Marcus Aidley You can run Spark in local mode against a kerberized cluster. Here are some configuration values to check: In spark-defaults.conf (in an HDP cluster: /etc/spark/conf/spark-defaults.conf); spark.history.kerberos.enabled true spark.history.kerberos.keytab /your/path/to/spark.headless....

источник

23:15пожаловаться #12

ЕГ

Евгений Глотов in Data Engineers

и путь к нему в экстра-жава-опшенсах

источник

23:16пожаловаться #13

ЕГ

Евгений Глотов in Data Engineers

https://www.ibm.com/support/knowledgecenter/SSZU2E_2.3.0/managing_cluster/kerberos_submit_applications.html

источник

23:23пожаловаться #14

2020 February 11

Rustam Iksanov in Data Engineers

Евгений Глотов

Cloudera

Re: Is it possible run Spark in local mode against a kerberized cluster

спс

источник

08:15пожаловаться #15

Sergej Khakhulin in Data Engineers

ктонибудь разворачивал https://github.com/salsify/avro-schema-registry/tree/a46a67380cf420cdfbe6c25ae178850f5599a901 ? а то что то я пытаюсь по README и он вечно говорит что проблемма с db хот миграцию провел без проблемм

GitHub

salsify/avro-schema-registry

Implementation of the Confluent Schema Registry API as a Rails application - salsify/avro-schema-registry