Телеграмм чат группы hadoopusers страница 4390

Size: a a a

Data Engineers

3187 membersпожаловаться на группу

2021 October 24

ЕГ

Евгений Глотов... in Data Engineers

Может в один даг всё-таки сложить?

источник

12:58пожаловаться #1

Sergey Sheremeta in Data Engineers

minPartitions

[Optional] Minimum number of partitions to read from Kafka. With Spark 2.1.0-db2 and above, you can configure Spark to use an arbitrary minimum of partitions to read from Kafka using the minPartitions option. Normally Spark has a 1-1 mapping of Kafka topicPartitions to Spark partitions consuming from Kafka. If you set the minPartitions option to a value greater than your Kafka topicPartitions, Spark will divvy up large Kafka partitions to smaller pieces

источник

12:58пожаловаться #2

Anton in Data Engineers

Как понимать "divvy up large Kafka partitions to smaller pieces"? Одна партиция может читаться несколькими задачами?

источник

13:14пожаловаться #3

Sergey Sheremeta in Data Engineers

да

источник

13:17пожаловаться #4

Alex in Data Engineers

привет! можно использовать triggerdagrunoperator в dag1, он может ждать исполнения dag2 (есть такая опция, насколько помню) и потом уже запустится следующий task после него

источник

13:21пожаловаться #5

ДК

Дмитро Козак... in Data Engineers

спасибо большое, удобная вещь, но все таки хотелось бы разобраться еще как это сделать с ExternalTaskSensor-ом

источник

13:41пожаловаться #6

Асл in Data Engineers

Привет всем, кто может ускорить процесс стандартного шифрования AES, с использованием сверточных нейронных сетей (обучить нейронку и создать модели для сравнения)?

источник

13:45пожаловаться #7

Dimidr0 in Data Engineers

Это вам в Data Science chat.

источник

13:46пожаловаться #8

Andrew Urpin in Data Engineers

видимо я не тот чат подкинул :( сорри

источник

13:47пожаловаться #9

Tasty Cake in Data Engineers

Привет. Если Вам ещё не отвечали, можете как вариант упаковать файлы модуля в zip архив, закинуть на хадуп и в опциях сессии указать путь через параметр pyfiles

источник

14:01пожаловаться #10

Tasty Cake in Data Engineers

Также, другой вариант - на воркерах поставить эти модули

источник

14:01пожаловаться #11

Dmitry in Data Engineers

Так вообще любой модуль заработает? Ага нагуглил что addpyfile нужно использовать, только пока реализацию не доделал. Спасибо огромное!!

источник

14:02пожаловаться #12

Sebastian in Data Engineers

в чем измерять Kpi дата инженера?

в интернете пишут quality, uptime, velocity
на счет качества есть вопросы - как оно измеряется... аптайм - точно вопрос к дата инженеру? скорость-то понятно, что от етл зависит сильно. можно ли учитывать внедренные инновационные технологии?

источник

14:37пожаловаться #13

ЕГ

Евгений Глотов... in Data Engineers

Качество определяется пользователями

источник

14:47пожаловаться #14

ЕГ

Евгений Глотов... in Data Engineers

В аптайме большая доля работы инженера

источник

14:48пожаловаться #15