Size: a a a

2017 June 01

NK

ID:1373407 in Data Engineers
Grigory Pomadchin
CDH быстрее развивается?
сдх вроде второй спарк добавило не из парселей недавно)
источник

GP

Grigory Pomadchin in Data Engineers
беглый пробег по код базе показывает почти полную идентичность
источник

NK

ID:1373407 in Data Engineers
А про то, что вендор спесифик - не хочу брать, это гиморой
источник

GP

Grigory Pomadchin in Data Engineers
источник

GP

Grigory Pomadchin in Data Engineers
так а в чем проблема взять и написать свое?)
источник

GP

Grigory Pomadchin in Data Engineers
ну я как пример на что ориентироваться скинул; а то что последняя дата коммита там месяц назад в хбейз-спарк это ни о чем не говорит
источник

NK

ID:1373407 in Data Engineers
Grigory Pomadchin
так а в чем проблема взять и написать свое?)
проще  жрать кактус newAPIHadoopRDD
источник

GP

Grigory Pomadchin in Data Engineers
одинаково
источник

GP

Grigory Pomadchin in Data Engineers
+-
источник

GP

Grigory Pomadchin in Data Engineers
разница в апи
источник

NK

ID:1373407 in Data Engineers
Ну вот это больше всего и напрягает, что если сдх версией пользоваться, то непонятно как оно будет взаимодейстовать  с ванильной версией спарка. То есть той , которую cdh не поддерживает
источник

GP

Grigory Pomadchin in Data Engineers
постой а зачем тебе тащить спарк модуль чтоб запись / чтение балокове реализовать
источник

GP

Grigory Pomadchin in Data Engineers
ты можешь ~скопипастить~ написать по мотивам код.
источник

NK

ID:1373407 in Data Engineers
Grigory Pomadchin
ты можешь ~скопипастить~ написать по мотивам код.
Ну я не люблю копипаст , это то что потом дарит гиморой другим людям.  Пока  лучше палкой newAPIHadoopRDD поорудую
источник

GP

Grigory Pomadchin in Data Engineers
источник

NK

ID:1373407 in Data Engineers
Вот поэтому с касандрой приятней работать , хоть она и падучая )
источник

GP

Grigory Pomadchin in Data Engineers
там в коде, если я не верно выразился, пример использования АПИ хбейза, которое есть и в 1.3.1, пример как читать в рдд без newAPIHadoopRDD
источник

GP

Grigory Pomadchin in Data Engineers
источник

GP

Grigory Pomadchin in Data Engineers
и похоже на кассандру
источник

GP

Grigory Pomadchin in Data Engineers
этим HBase и приятен
источник