Size: a a a

2021 May 24

S

Stanislav in Data Engineers
Везёт вам, килобайты кода там не ловили)
источник

AE

Alexey Evdokimov in Data Engineers
чё будет, если по какой-то причине на разных нодах спаркового кластера окажутся разные минорные версии JDK?
источник

AE

Alexey Evdokimov in Data Engineers
свалится на старте джоба?
источник

AE

Alexey Evdokimov in Data Engineers
или всё зависит от?
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
У нас разные миноры, в целом, проблем не замечено
источник

AE

Alexey Evdokimov in Data Engineers
ок, а если classpath на разных нодах чуточку отличается? например, где-то криптопровайдер дополнительный есть
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
По теории, могут быть проблемы
источник

AE

Alexey Evdokimov in Data Engineers
я системный classpath имею в виду, сами-то джобы фатжар юзают
источник

AK

Alex Kirin in Data Engineers
Всем привет!
Может у кого есть книги по Hive на русском? Киньте ссылку плиз. Вот прям совсем чтобы подробно было и для новичков
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Однозначно не скажу, но чутье говорит, что может стрельнуть
источник

AE

Alexey Evdokimov in Data Engineers
вот мне то же говорит. ладно, проверим
источник

ND

Nurdinov Denis in Data Engineers
Добрый день, коллеги!
Есть ли аналог параметру hive.query.restriction.length в hive 3.1.2?
источник

A

Alex in Data Engineers
привет! такой вопрос - сегодня был разговор с потенциальным клиентом и он очень воодушевлённо рассказывал как они начинают использовать Databricks платформу и будут готовы скакать с кластера на кластер без проблем.. с AWS на Azure потом на GCP и потом снова на Azure. Вот реально кто-то из вас так использует Databricks или залипаете на одном провайдере .. к примеру на AWS или Azure и все?
источник

AZ

Anton Zadorozhniy in Data Engineers
бывают компании с мультиклауд стратегией, но насколько я знаю databricks сам по себе не реализует такую стратегию, это дополнительная работа
в мультиклауд стратегии данные копируются в несколько клаудов, и там же поднимается компьют если нужно, я не встречал ситуации когда компьют из одного клауда идет за данными в другой
источник

PK

Pavel Klemenkov in Data Engineers
Сейчас, вроде, тренд на то, чтобы уходить от vendorlock в клауде.
источник

A

Alex in Data Engineers
этот тренд много лет уже.. но я реально не видел живых примеров что б кто то этим активно пользовался. Ввести доп прослойку в виде платформы дело не хитрое.. но мне кажется все потом дальше на одном вендоре сидят.. только еще за прослойку платформу платят на которую успели завендорлочиться тоже)
источник

PK

Pavel Klemenkov in Data Engineers
Вот из последних болших кейсов, которые я видел https://www.protocol.com/enterprise/target-cio-mike-mcnamara-multicloud
источник

AZ

Anton Zadorozhniy in Data Engineers
Это история про сервисы, не про аналитику
источник

AZ

Anton Zadorozhniy in Data Engineers
сервисы давно и активно живут на мультиклауде, с аналитикой сложнее
источник

PK

Pavel Klemenkov in Data Engineers
А, ты имеешь в виду multitenant data?
источник