Size: a a a

2021 June 29

МИ

Морозов Иван... in Data Engineers
Привет! Кто подскажет, блокирует ли селекты добавление колонки (varchar) с дефолтным значением в оракле
источник

AZ

Anton Zadorozhniy in Data Engineers
не призывал вас переходить никуда, просто поясняю чем  Oozie привлекателен для тех кто его использует
контринтуитивность в глазах смотрящего, по мне так Celery executor при живом YARN это не очень интуитивно
источник

AZ

Anton Zadorozhniy in Data Engineers
Control-M конечно
источник

А

Алексей in Data Engineers
добавление колонки с дефолтом - это изменение справочных данных, сами файлы данных не меняются
источник

ИК

Иван Калининский... in Data Engineers
Вопрос был, кто-нибудь использует узи, и я ответил объективно, что такие организации есть. Добрая воля на определённом этапе при выборе точно была. Про любовь речи не шло)) Альтернативы oozie в тех организациях сейчас нет, и когда я (а не кто-то другой) буду выбирать технологический стек, то, конечно, не забуду про AF даже в применении к hadoop (что вряд ли). В любом случае, датаинж должен быть готов решать задачи на разных платформах. Ещё помню про планировщик IPC, вот уж что было сложно полюбить (я не смог(()
источник

МИ

Морозов Иван... in Data Engineers
То есть будет только лок на DDl операции? Селекты, инсерты будут идти параллельно?
источник

А

Алексей in Data Engineers
задайте вопрос сюда: @oracle_ru
источник

T

T in Data Engineers
+++
источник

AZ

Anton Zadorozhniy in Data Engineers
я говорил про любовь, я нежно люблю Oozie, он далек от идеала, но дизайн вписывается в экосистему, а использование XML позволило мне не одну и не две команды прокачать в области DSL
источник

GP

Grigory Pomadchin in Data Engineers
Спасибо
источник
2021 June 30

rG

rpuropuu Greeg'O'Rii... in Data Engineers
Такое дело. Поставлена задача: из Кассандры и Кафки Спарком забирать данные в Табло. Ноль опыта со всем этим, кроме Табло. Умею в питон, sql и пандас. Подскажите пожалуйста с чего начать и где? И чему уделить бОльшее внимание.. есть 1-2 месяца времени.
источник

C

Combot in Data Engineers
ibtoey mnapt has been banned! Reason: CAS ban.
источник

D

Dmitry in Data Engineers
табло на сколько помню bi рисовалка, значит спарк должен строить в чем то витрину, которую табло отобразит. начни с того где строить витрину, если данных не много можно и в рдбмс. потом посмотри pySpark
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
Данных дохренища. Табло умеет в питон. А питон имеет пайспарк. Но на этом мои знания все)
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
Первый раз встречаю понятие витрина О_о
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
Это куда спарку записывать результат запроса?
источник

D

Dmitry in Data Engineers
витрина=data mart
тебе надо построить data mart который подойдет табло за нужное время отображать информацию
источник

АБ

Артемий Богданов... in Data Engineers
Ну не каждый же раз при открытии табло запускать спарк джоб. Надо сначала их куда то красиво им сложить, а потом уже для табло сделать витрины
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
У индусов видел такой термин, спасибо)
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
В табло есть лайв.
источник