RI
Инженеры! Помогите. Настраиваю в Фениксе таблицы с Hbase. B и проблема кастинга типов. Все кроме string не кастятся нормально.
Комрады, кто-то может подсказать в чем проблема кастинга нестринговых типов при маппинге из hbase в phoenix ?
Size: a a a
2019 July 30
K
часто (читай всегда) есть дата продукты / дата ассеты которые не хайве определены, но которыми нужно тоже управлять
У меня сложность следущая , данные генерятся не хайвом, а читаются хайвом, поэтому наиболее логичным вижу именно фиксацию изменений вархауса хайва
AZ
так, а ими вы как управляете?
да также, артефакт заданного формата, инсталлер/манифест для его применения, и каталог/сервис дискавери компонент где ведется учет по каждой среде
ПФ
блин, а может вы доклад про это где делали? ну люди должны знать же
AZ
У меня сложность следущая , данные генерятся не хайвом, а читаются хайвом, поэтому наиболее логичным вижу именно фиксацию изменений вархауса хайва
да, все логично, мы просто стараемся думать у таблицах в хайве всегда в связке с джобом которые их порождают, поэтому в артефакте всегда и джоб и ддл
AZ
блин, а может вы доклад про это где делали? ну люди должны знать же
нет, но вашу контору я когда-то тоже по каким-то таким темам консультировал)
K
да, все логично, мы просто стараемся думать у таблицах в хайве всегда в связке с джобом которые их порождают, поэтому в артефакте всегда и джоб и ддл
:) а если Джоба имеет схему не в create table формате, а скажем из уже полученного датафрейма сгенерировать табличку
ПФ
нет, но вашу контору я когда-то тоже по каким-то таким темам консультировал)
да? Прикольно. А кого?
AZ
:) а если Джоба имеет схему не в create table формате, а скажем из уже полученного датафрейма сгенерировать табличку
так не может быть, есть гавернанс правило которое требует явного ддл, без такого правила у вас пропадает детерминированность, и аутком джоба может зависеть от данных, а так делать не нужно
AZ
да? Прикольно. А кого?
дм
K
так не может быть, есть гавернанс правило которое требует явного ддл, без такого правила у вас пропадает детерминированность, и аутком джоба может зависеть от данных, а так делать не нужно
Но всегда можно отслеживать уже после результат
K
так не может быть, есть гавернанс правило которое требует явного ддл, без такого правила у вас пропадает детерминированность, и аутком джоба может зависеть от данных, а так делать не нужно
Скорее от конфигурации зависит, а не от самих данных
AZ
Но всегда можно отслеживать уже после результат
да, но тут мы не можем рассуждать о датасете на берегу, мы зависим от результата рана джоба - наверное все это можно заставить работать, но нам оказалось проще заставить разработчиков явно писать DDL
ПФ
Я тут пытаюсь бороться за явный DDL чтобы никакой магии больше не было
AS
Привет! А кто-нибудь юзал Gluster FS? (на 6 версии битые файлы пишет, на 4 медленно работает) У кого-нибудь работало номарльно?
AZ
Я тут пытаюсь бороться за явный DDL чтобы никакой магии больше не было
🤝
K
да, но тут мы не можем рассуждать о датасете на берегу, мы зависим от результата рана джоба - наверное все это можно заставить работать, но нам оказалось проще заставить разработчиков явно писать DDL
При этом данные могут по факту лежать другие , а разработчик ошибся в ддл:)
AZ
При этом данные могут по факту лежать другие , а разработчик ошибся в ддл:)
а тесты для чего?)
AZ
но вообще конечно так может случиться, это последствие разорванности метаданных и данных