KS
Что делать? Сказать поставщикам, чтобы сжимали в строку?
Size: a a a
2021 June 23
T
Это самый лёгкий способ так что лучше с него начать
AZ
конечно, если есть такая возможность - пусть поддерживают формат JSON Lines https://jsonlines.org/
AE
а поставщики такие "мы вам данные поставляем? поставляем. JSON? джейсон. так какие проблемы?"
AZ
(по моему опыту еще на 20% меньше файл будет - запишите оптимизацию на свой счет)
AZ
потому что это не json и не json lines, это какой-то доморощенный формат
KS
Понятно, спасибо парни!
S
Всем привет, вопрос такой:
Работаю с Pandas, для более ускоренной работы больших данных, что является альтернативой панде? Слышал про pyspark, spark, scala
Что выбрать и почему ?
Работаю с Pandas, для более ускоренной работы больших данных, что является альтернативой панде? Слышал про pyspark, spark, scala
Что выбрать и почему ?
K
Попробуйте koals или pyspark
K
Коалс сыроыат, но может вам подойти
K
Это по-сути обёртка не пайспарком которая ркализцет апи панд
S
Читал статью, где проводили опыты со скалой и спарками, скала всех уделал по скорости и объему
K
Вы попробуете с малого
А
а мне казалось scala это просто язык для spark...
NN
Эм, скала это язык, на котором, собственно, спарк и написан. Пайспарк - это питонячье апи спарка.
AS
Если у вас spark sql или darafrsme api, то язык не важен
AS
Народ, а ни кто не прикручивал delta connectors к hive 1.2?
AZ
Если у вас данные из базы (vertica, teradata) - можно попробовать их нативные датафреймы, вместо выкачивания на питон
V
Увы
MH
4 часа всего было