Телеграмм чат группы hadoopusers страница 3790

19:21пожаловаться #1

Alexey Evdokimov in Data Engineers

я в своё время с командой ИЕ переписывался, ещё во время разработки 7 версии. тоже приличные чуваки оказались. но слишком поздно

19:22пожаловаться #2

er@essbase.ru in Data Engineers

Несколько способов добавить фантастики в SQL

20:02пожаловаться #3

er@essbase.ru in Data Engineers

20:02пожаловаться #4

Stanislav in Data Engineers

Задачки с sql-ex

22:32пожаловаться #5

Народ, ведь спарк не может читать gzip archive of json files, так?

23:53пожаловаться #6

может, я только не помню дефлтный сурс хочет 1 жейсон в архиве или нет

23:54пожаловаться #7

Только индивидуальные файлы типа spark.read.json("data.json.gz")

23:55пожаловаться #8

ну вот те и ответ

23:55пожаловаться #9

модифицируй сурс сам чтоб умел листы жейоснов

23:56пожаловаться #10

чет в2 сурсы сложные конечн

23:56пожаловаться #11

Соседняя команда присылала просто папки с обычными json файлами, но теперь предлагают просто папку с архивом

23:56пожаловаться #12

У нас это в AWS glue вертится, разве там можно исходники менять?

23:57пожаловаться #13

зачем менять? свой сорс делать можно

23:58пожаловаться #14

Это гемора много, проще послать соседей, потребовав обычных json файлов на входе.

23:59пожаловаться #15

2021 June 22

Не верю, что gzip deflate архивы разучились читать на серваках, я в шоке

00:35пожаловаться #16

Поставьте nginx, проксируцте и разбиваете на лету, ну хоть на lua, позор-то какой

00:35пожаловаться #17

Ну, не ошибается тот, кто ничего не делает. Правило рабочее, в принципе

00:36пожаловаться #18

Нафига попу гармошка?
Тут всё гораздо проще.

00:38пожаловаться #19

Я тоже думаю, что просто кто-то включил компрессию на сервере, и клиент пошел шлёпать архивами