Телеграмм чат группы hadoopusers страница 3509

19:55пожаловаться #1

2021 April 18

Пытаюсь записать датафрейм из glue в elasticache redis, но почему-то не видит класс Redis Partition.

18:34пожаловаться #2

18:35пожаловаться #3

18:35пожаловаться #4

18:35пожаловаться #5

Хотя в проекте и самом jar он есть

18:36пожаловаться #6

Вот отсюда вызывается

18:37пожаловаться #7

18:37пожаловаться #8

Data Mesh Principles and Logical Architecture

Прочитал статейку вот https://martinfowler.com/articles/data-mesh-principles.html
Есть кто, кто что-то подобное делает? Как оно?

martinfowler.com

Four principles that drive a logical architecture for a data mesh.

23:09пожаловаться #9

2021 April 19

Yan Chizhevskiy in Data Engineers

Всем привет! Можно ли постить вакансии в группе или запрещено правилами чата?

10:59пожаловаться #10

Mino in Data Engineers

@datajobs

11:00пожаловаться #11

Mino in Data Engineers

В описании того чата есть ещё один чат где только вакансии

11:01пожаловаться #12

Yan Chizhevskiy in Data Engineers

Спасибо!

11:01пожаловаться #13

Ekaterina Belova in Data Engineers

Не совсем по теме, но может посоветуете что. У меня есть junior без профильного образования. Встал вопрос с OOP. Можете посоветовать из личного опыта какую-то книгу где бы хорошо раскрывалась концепция и дальше на усложнение шло. Я нашла какие-то варианты в интернете, но фиг знает что там в них :) https://computingforgeeks.com/best-books-to-learn-object-oriented-programming/ а все пролистывать самой времени нет. junior англо-говорящий.

11:22пожаловаться #14

Читал Head First когда то давно давно, но там было про джаву. У них хороший стиль изложения, как раз для новичков

Паша Финкельштейн... in Data Engineers

11:24пожаловаться #15

ПФ

https://github.com/MrPowers/bebe

GitHub

MrPowers/bebe

Filling in the Spark function gaps across APIs. Contribute to MrPowers/bebe development by creating an account on GitHub.

Паша Финкельштейн... in Data Engineers

11:32пожаловаться #16

ПФ

Вот это офигительный проект!

11:32пожаловаться #17

Кто может по Saprk Streaming'у помочь, никак не могу найти ответ есть код
типа

df.filter($"game_id" === gameId)
    .select($"server_ts".alias("server_ts_tmp"),
                 ... ,
                from_json($"event", tableSchema) as "event")

Streaming query падает при диссериализации. Следующая джоба проезжает нормально. Значит ли это что батч который упал и был вычитан из кафки - утерян?

12:26пожаловаться #18

Grigory Pomadchin in Data Engineers

А покажи как падает

12:29пожаловаться #19

 with exception: java.lang.RuntimeException: Error while decoding: org.codehaus.janino.InternalCompilerException: failed to compile: org.codehaus.janino.InternalCompilerException: Compiling "GeneratedClass": null
newInstance(class com.databricks.sql.transaction.tahoe.Snapshot$State)