Телеграмм чат группы hadoopusers страница 3371

19:12пожаловаться #1

Anton Zadorozhniy in Data Engineers

Кто-нибудь работал с data lake, где хранятся данные разных клиентов и нужно разграничивать для них доступ с помощью BYOK?

Какая инфра? Он-прем или клауд какой?

19:22пожаловаться #2

An in Data Engineers

Ребята, не совсем по теме, но может кто может помочь. Мне надо запихнуть данные в spark в ml модель - я использую VectorAssembler чтобы создать колонку с векторами-значениями признаков. После VectorAssembler на выходе должно выйти что-то вроде pyspark.ml.linagl.Vector - а у меня пишет ошибку о том, что я подаю array<float>

20:54пожаловаться #3

An in Data Engineers

тип колонки при этом DenseVector

20:55пожаловаться #4

Ысь in Data Engineers

поднял наконец

20:55пожаловаться #5

Ысь in Data Engineers

все го лишь победить конфиг с 5к строк

20:55пожаловаться #6

Какая инфра? Он-прем или клауд какой?

AWS

21:36пожаловаться #7

Какая инфра? Он-прем или клауд какой?

Собственно вопрос: Подскажите пожалуйста что почитать насчёт преимуществ и недостатков BYOK? Мы сейчас пользуемся AWS CMK, и откуда то сверху пришла идея с BYOK, поэтому хотелось бы немного прокачаться в этом плане.

21:38пожаловаться #8

T in Data Engineers

А у Aws есть же lakeformation которое позволяет разделять уровни доступна. Чем оно вам не подошло ?

https://aws.amazon.com/lake-formation/

21:40пожаловаться #9

T in Data Engineers

Amazon Web Services, Inc.

AWS Lake Formation - Build A Secure Data Lake - Amazon Web Services

AWS Lake Formation is a service that enables you to set up a secure data lake in days. Perform data discovery and schema discovery, create a data catalog, and perform data cleansing, data transformation, and data ingestion into your data lake.

21:40пожаловаться #10

А у Aws есть же lakeformation которое позволяет разделять уровни доступна. Чем оно вам не подошло ?

Спасибо, почитаю.

21:41пожаловаться #11

Какая инфра? Он-прем или клауд какой?

Из недостатков CMK пока вижу вот это.

21:42пожаловаться #12

Anton Zadorozhniy in Data Engineers

Из недостатков CMK пока вижу вот это.

Так это фича, какое поведение вы ожидаете? Что мастер ключ можно будет использовать без ведома владельца?

21:47пожаловаться #13

Так это фича, какое поведение вы ожидаете? Что мастер ключ можно будет использовать без ведома владельца?

Если у нас в дата лейке несколько больших клиентов, использующих мастер ключ, то данные одних (секретных) подразделений могут быть видны другим (несекретным).

21:50пожаловаться #14

Допустим первые это финансовый отдел, вторые маркетинг.

21:51пожаловаться #15

Anton Zadorozhniy in Data Engineers

В Клауд трейле вы видите запросы на использование ключа, это не доступ к самому ключу

21:51пожаловаться #16