ЕГ
Вообще 90гб csv - это крайне фиговая затея
Size: a a a
2021 April 13
SI
А оно по OOM не упадет?
ЕГ
Ну так и обычный архивер падает😐
SI
обычный архивер не должен падать из-за OOM — там фиксированный буфер используется
RI
Я бы в паркет катанул
SI
Для более быстрой — ты можешь подумать над другим кодеком архивации или настройкой compression rate если у тебя zip
SI
Или ты можешь свой csv разрезать на несколько файлов, или, как посоветовал рустам, использовать что-то получше чем csv
K
спарком зархивируйте, а потом все в один гз положите
ПФ
Чатик, а есть где-то картинка того, как устроена архитектура sparklyr? Так же как pyspark?
K
Переслано от KrivdaTheTriewe
в идею на маке завезли табы между проектами
K
там прям код на сях есть
AZ
Sparklyr это бэкенд для dplyr, аналогичный dbplyr и другим проприетарным бэкендам ;) в этом смысле лучше ориентироваться на dplyr как контракт для интеграции, тогда будет сразу и для других бэкендов работать ваш код
AZ
Короче, все как всегда лучше в R, чем в питоне :)
ПФ
Таак, а интероп там как построен?
ПФ
Ну типа передача данных dplyr ←→ sparklyr и sparklyr ←→ spark?
ПФ
K
ну сериализует, десериализует)
ПФ
Это врое ясно, но раскурить эту штуку за пять минут не получится…
K
для сишарпа также