Size: a a a

2021 June 21

AE

Alexey Evdokimov in Data Engineers
вот она как раз ничего не решает
источник

AE

Alexey Evdokimov in Data Engineers
я в своё время с командой ИЕ переписывался, ещё во время разработки 7 версии. тоже приличные чуваки оказались. но слишком поздно
источник

e

er@essbase.ru in Data Engineers
Несколько способов добавить фантастики в SQL
источник

e

er@essbase.ru in Data Engineers
источник

S

Stanislav in Data Engineers
Задачки с sql-ex
источник

KS

K S in Data Engineers
Народ, ведь спарк не может читать gzip archive of json files, так?
источник

GP

Grigory Pomadchin in Data Engineers
может, я только не помню дефлтный сурс хочет 1 жейсон в архиве или нет
источник

KS

K S in Data Engineers
Только индивидуальные файлы типа spark.read.json("data.json.gz")
источник

GP

Grigory Pomadchin in Data Engineers
ну вот те и ответ
источник

GP

Grigory Pomadchin in Data Engineers
модифицируй сурс сам чтоб умел листы жейоснов
источник

GP

Grigory Pomadchin in Data Engineers
чет в2 сурсы сложные конечн
источник

KS

K S in Data Engineers
Соседняя команда присылала просто папки с обычными json файлами, но теперь предлагают просто папку с архивом
источник

KS

K S in Data Engineers
У нас это в AWS glue вертится, разве там можно исходники менять?
источник

GP

Grigory Pomadchin in Data Engineers
зачем менять? свой сорс делать можно
источник

KS

K S in Data Engineers
Это гемора много, проще послать соседей, потребовав обычных json файлов на входе.
источник
2021 June 22

AM

Artur Mustafin in Data Engineers
Не верю, что gzip deflate архивы разучились читать на серваках, я в шоке
источник

AM

Artur Mustafin in Data Engineers
Поставьте nginx, проксируцте и разбиваете на лету, ну хоть на lua, позор-то какой
источник

AM

Artur Mustafin in Data Engineers
Ну, не ошибается тот, кто ничего не делает. Правило рабочее, в принципе
источник

KS

K S in Data Engineers
Нафига попу гармошка?
Тут всё гораздо проще.
источник

AM

Artur Mustafin in Data Engineers
Я тоже думаю, что просто кто-то включил компрессию на сервере, и клиент пошел шлёпать архивами
источник