Size: a a a

2020 February 10

SS

Sergey Sheremeta in Data Engineers
Denis Gabaydulin
А как это вообще делать? Не поллить же hbase? )
притвориться Peer RegionServer’ом и продюсить в божественную Кафку
источник

GP

Grigory Pomadchin in Data Engineers
Sergey Sheremeta
дяденьки, здравствуйте!
вы не прикручивали такое - https://github.com/apache/hbase-connectors к HBase 1.4.* ?
хочется странного - сливать мутации HBase в богоугодную Кафку
да переделай
задаунгрейдь депенсю
не думаю что там прям свосем вся апиха новая юзается
источник

SS

Sergey Sheremeta in Data Engineers
дак лень-матушка, но похоже так и придется сделать
источник

S

Stanislav in Data Engineers
а дальше то что? из кафки куда это все? она не станет узким местом на нагруженном хбейзе?
источник

SS

Sergey Sheremeta in Data Engineers
так далеко я не думал )
источник

S

Stanislav in Data Engineers
Норм :)
источник

N

Nikita Blagodarnyy in Data Engineers
Stanislav
а дальше то что? из кафки куда это все? она не станет узким местом на нагруженном хбейзе?
из кафки в aerospike перекладывать.
источник

S

Stanislav in Data Engineers
Не боитесь разъезда данных от Кафки? Если у вас мутейты и надо держать стейт, Кафка должна быть ненагруженная
А у вас вроде поток то не такой уж маленький
источник

S

Stanislav in Data Engineers
Дампами с снепшотов по крайней мере стейт верный переезжает
источник

AZ

Anton Zadorozhniy in Data Engineers
думаю это шутка про аэроспайк была
источник

RI

Rustam Iksanov in Data Engineers
Коллеги, как мне с локального спарка достучаться до hdfs под керберосом? spark.yarn.keytab не помогает
источник

ЕГ

Евгений Глотов in Data Engineers
Rustam Iksanov
Коллеги, как мне с локального спарка достучаться до hdfs под керберосом? spark.yarn.keytab не помогает
https://community.cloudera.com/t5/Support-Questions/Is-it-possible-run-Spark-in-local-mode-against-a-kerberized/m-p/211601/highlight/true#M173543
Там ещё несколько параметров, плюс нужен krb5.conf файлик, который совпадает с таковым на кластере
источник

ЕГ

Евгений Глотов in Data Engineers
и путь к нему в экстра-жава-опшенсах
источник

ЕГ

Евгений Глотов in Data Engineers
источник
2020 February 11

RI

Rustam Iksanov in Data Engineers
спс
источник

SK

Sergej Khakhulin in Data Engineers
ктонибудь разворачивал https://github.com/salsify/avro-schema-registry/tree/a46a67380cf420cdfbe6c25ae178850f5599a901 ? а то что то я пытаюсь по README и он вечно говорит что проблемма с db хот миграцию провел без проблемм
источник

КБ

Константин Белов in Data Engineers
ребята, посоветуйте крутой и понятный учебник по добыче данных ну и может еще очистке, пожалуйста
источник

AZ

Anton Zadorozhniy in Data Engineers
Константин Белов
ребята, посоветуйте крутой и понятный учебник по добыче данных ну и может еще очистке, пожалуйста
Цо то е «добыча данных»?
источник

AS

Andrey Smirnov in Data Engineers
Anton Zadorozhniy
Цо то е «добыча данных»?
грабить корованы?
источник

AZ

Anton Zadorozhniy in Data Engineers
«Организация оперативно-розыскной деятельности» подойдёт?
источник