Телеграмм чат группы hadoopusers страница 4606

Size: a a a

Data Engineers

3284 membersпожаловаться на группу

2021 December 09

Dmitriy in Data Engineers

ну так каждый день вроде, почему нет?

источник

13:25пожаловаться #1

Denis Stadnik in Data Engineers

Если это часть большой Enterprise системы где все так построено то почему нет (на Java же пишут сотни строк там где на скриптовых языках покороче - и если весь софт в компании так написан, то и в мелочах стоит вести себя так же).

Ну а если нет? В статье предлагают монструозное решение на простую проблему.

источник

13:50пожаловаться #2

Dmitriy in Data Engineers

чего? airflow это не монструозное решенеи от слова совсем

источник

13:54пожаловаться #3

Dmitriy in Data Engineers

там какой то дефолтный простой скриптик

источник

13:54пожаловаться #4

Denis Stadnik in Data Engineers

Вы статью по ссылке то почитайте :) там и redis и Postgres.

источник

14:03пожаловаться #5

АЖ

Андрей Жуков... in Data Engineers

без постгреса плов и не заработает

редис тоже по умолчанию с ним есть, но можно выкинуть

источник

14:32пожаловаться #6

Борис in Data Engineers

"золотой молоток"

источник

15:29пожаловаться #7

АС

Артур Семенов... in Data Engineers

Коллеги, всем привет!

Поделитель опытом, как бороться с перекосом данных, если нужно посчитать налету (не приземляя данные), желательно в 1 SQL запрос на pyspark

Типичный случай: джоба висит на последней таске

источник

15:36пожаловаться #8

Sergey in Data Engineers

https://stackoverflow.com/questions/58110207/spark-how-does-salting-work-in-dealing-with-skewed-data

Stack Overflow

spark: How does salting work in dealing with skewed data

I have a skewed data in a table which is then compared with other table that is small.
I understood that salting works in case of joins- that is a random number is appended to keys in big table with

источник

15:39пожаловаться #9

ПБ

Повелитель Бури... in Data Engineers

щас на конфе кубера его еще раз упомянули

источник

16:30пожаловаться #10

Dmitry Zuev in Data Engineers

это ж кассандра допиленная?

источник

16:32пожаловаться #11

Andrey Smirnov in Data Engineers

скорее конкурент для cockrouchdb

источник

16:33пожаловаться #12

Igor Master in Data Engineers

Всем привет. Подскажите пожалуйста есть таблица в ней строка поле с типом CHAR(32) affa3e08d20447eab35f6176541e14b3
Когда делаю запрос через hive - получаю вместо значения NULL а если через спарк закверять - то получаю значение.

источник

18:23пожаловаться #13

Combot in Data Engineers

Jeremy Carter has been banned! Reason: CAS ban.

источник

19:00пожаловаться #14

Makhmut in Data Engineers