ЕГ
Манипуляции с файлом, чтобы он считался как json - это слишком сложно, я когда-то делал, потом попробовал повторить - уже чёт не вышло, старею😆
Size: a a a
2021 October 03
ЕГ
Там с кавычками гемор лютый
ПФ
IFS='\t'
while read -r line; do
key=${line[0]}
json=${line[1]}
echo "$json" | jq —arg ". + {key: $key}"
done < myfile
Я думаю как-то так
ЕГ
А если данных терабайт?
ПФ
эта штука работает поточно, так что всё норм
ЕГ
Долго будет)
ПФ
ну понятно надо вывод перенаправить в другой файл
ПФ
Да норм, у нас в бигдате редко прям моментально что-то бывает, а тут всё быстрое в пайплайне, можно сказать голый C всюду по дороге )
ЕГ
Блин, ну ладно, в этот раз бумеры победили😆
ПФ
но наверное если на джаве переписать или там на котлине — будет быстрее, пик перфоманс и всё такое
ЕГ
Но схемку с первого ряда тоже прикольно спарком получить
ЕГ
schema_of_json
Н
да, спасибо, нашел
Н
я еще нашел, что можно rdd засунуть в read.json(rdd)
ЕГ
2021 October 04
М
Всем привет, пытаюсь поставить catboost, подложил jar файл, указал spark.jars.packages. А как сказать спарку где лежит файл? нужно подправить pom?
NN
Не, ниче править не надо.
Пайспарк?
Пайспарк?
М
да, похоже разобрался. Есть 2 пути, либо в ручную подкладывать jar, либо в параметрах указывать что бы он сам скачал из реп или локальных путей? правильно?
NN
Ну, в общем, да.