Size: a a a

2020 February 12

V

Vasiliy in Data Engineers
Nikita Blagodarnyy
Вроде престо и найфай это про разное, не?
Если будет престо, можно отказаться от переливки
источник

AZ

Anton Zadorozhniy in Data Engineers
Uncel Duk
а какие сорта престы сейчас котируются?
Смотря что делать
источник

AZ

Anton Zadorozhniy in Data Engineers
Есть ещё serverless, Athena
источник

VS

Valeriy Shinkevich in Data Engineers
Коллеги, кто разворачивал Ignite на Yarn ? Пытаюсь делать по инструкции, после
yarn jar ignite-yarn-2.7.6.jar /tmp/ignite/ignite-yarn-2.7.6.jar /tmp/ignite/cluster.properties
пишет
Submitted application. Application id: application_1581322307764_0057
Application application_1581322307764_0057 is RUNNING.
Но, в логах этой аппликухи, всё заканчивается на
org.apache.ignite.yarn.ApplicationMaster onContainersCompleted INFO: Container completed. Container id: container_e50_1581322307764_0054_01_000017. State: COMPLETE.
И так для всех контейнеров. Ошибок в логах нигде нет, на нодах контейнерев нет, кроме мастера.
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
или добро пожаловать к нам, в ряды любителей ванили)
Ура
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
(причем у меня есть уже пьяная реализация этого концепта, правда на кложе и редис вместо тарантула Ж))
Давайте с вами стартап сделаем
источник

K

KrivdaTheTriewe in Data Engineers
Но ток с дата гаверенсом
источник

AZ

Anton Zadorozhniy in Data Engineers
я бы сделал, но никому не нужно, так что зарплата в виде еды тоже быстро закончится
источник

AZ

Anton Zadorozhniy in Data Engineers
если хочется писать большой дата менеджмент, с будущим, идти надо только в крупные клауд провайдеры, а там таких умников уже пруд пруди
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
если хочется писать большой дата менеджмент, с будущим, идти надо только в крупные клауд провайдеры, а там таких умников уже пруд пруди
Гибрид клауд
источник

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
Гибрид клауд
мб, но очень уж узкая ниша, как гибридный водопровод
источник

UD

Uncel Duk in Data Engineers
Anton Zadorozhniy
но форкните лучше нормально, вот вам концепт: fsimage вместо памяти держим в тарантуле например (импортозамещение опять таки), метаданные спускаем до датанод, и файловые механизмы переписываем на copy-on-write , чтобы для локальный копий можно было без distcp и снапшоты лучше работали, плюс репликация из коробки; выборы лидера делаем на etcd, метрики сразу в кликхаус и jwt вместо кербероса
Хотет
источник

IU

Igor Udovichenko in Data Engineers
Здравствуйте!
Не уверен что по теме канала, но увы не нашел нигде - может тут посоветует кто.
Apache phoenix, binary(16) значение
нужно вытащить данные в виде строкового представления UUID, функциями apache phoenix
источник
2020 February 13

RI

Rustam Iksanov in Data Engineers
Igor Udovichenko
Здравствуйте!
Не уверен что по теме канала, но увы не нашел нигде - может тут посоветует кто.
Apache phoenix, binary(16) значение
нужно вытащить данные в виде строкового представления UUID, функциями apache phoenix
Чем достаешь? Если спарком, то я бы попробовал 'new String(value)'
источник

DZ

Dmitry Zuev in Data Engineers
Anton Kovalenko
Даже вариант отечественного ПАКа есть: ADB (Greenplum) + Open POWER
Вообще огонь!
связку педро + гринплам еще на моей памяти хоронили
источник

IU

Igor Udovichenko in Data Engineers
Нет, всё гораздо примитивнее
селектом в dBeaver
источник

RI

Rustam Iksanov in Data Engineers
Igor Udovichenko
Нет, всё гораздо примитивнее
селектом в dBeaver
Dbeaver вроде умеет преобразовывать  в текст, но это не точно. Попробуй еще hex декодер функцию, она вроде есть в phoenix
источник

IU

Igor Udovichenko in Data Engineers
decode(... 'hex')?
увы не то, оно из строкового представления делает бинари
я надеялся что есть обратная ф-я (
источник

N

Nikita Blagodarnyy in Data Engineers
cast ов нету на бинари?
источник

SS

Sergey Sheremeta in Data Engineers
UDF
источник