ЕГ
Если не решается за час, всегда можно позвать старшего товарища
Size: a a a
2021 October 06
AE
если он вообще есть, этот "старший товарищ"
ЕГ
ЕГ
Тогда коллективно)
T
Большое спасибо
AE
ну вот наши заказчики, имея все исходные данные и штат аналитиков, сами ни черта посчитать не могут. терабайтные датасеты в пандас не впихнёшь.
нанимают нас :D а мы как раз идём снизу вверх, от алгоритмов
нанимают нас :D а мы как раз идём снизу вверх, от алгоритмов
.
А ну без тестов никуда)
ЕГ
Они значит не задумываются о том, чтобы смочь, но вы им не подскажете, так как вам так выгоднее)
AE
ну я бы даже подсказал. не бесплатно, конечно. но им проще платить субподрядчику больше, чем самим чё-то строить
AS
Вы для них литературные негры, за копейки и в срок, ничего личного, просто бизнес
РБ
Негров нельзя ругать.
P
🏃🏿♂️🔫
2021 October 07
РБ
ЕГ
D
хм, что-то я в ступоре. значительно укрупнил размер файлов в паре delta таблиц (тот что опенсоурсный датабрикс) за которыми дня два наблюдал. теперь hdfs dfs -du -h говорит что они раза в 3-4 меньше весят. это какое-то совпадение (типа вакум вдруг зачистил больше чем обычно) или за легендами о блоке все же что-то есть ?
D
или это просто hdfs dfs тулзы считают занятые файлами блоки * 128 мб, а в реале на линуксовой файловой системе все нормально хранится ?
I
если формат хранения колоночный (parquet/orc), то в каждом файле есть метаданные. Если файлы совсем маленькие, то метаданных может быть больше чем самих данных. При укрупнении файлов эта разница нивелируется. Плсюс эффект от колоночного хранения
ПФ
Слушайте, хочу странного:
ПФ
Хочу синтетического skewed job спаркового. Как сделать?
RI
хочешь нагенерировать сам перекошенный датасет?