собрать дерево на 700 мегабайт с другой стороны тоже было бы непросто

spark парсит json еще из rdd, но это не решает проблему разбиения файла на записи-строки

может быть достаточно разумным быть -  порезать слона на части
- написать сплиттер на файлы по 10к записей по маске начала новой записи

так это мультилайн или newline-delimited файл?

надо посмотреть что внутри, я встречал всякое, например newline-delimited json где каждая строка была красиво отформатирована (видимо чтобы данных в кафке было побольше)

Всем привет. Кто знает, почему такая конструкция отрабатывает? Это какая-то известная фича withColumnRenamed? :)

HRки ещё любят придумывать такие обороты полагая что это как то значимости придаёт. Мне как то раз пишут по вакансии: "нашла ваше резюме на работном сайте". Ну думаю мало ли, может человек опечатался или уровень культуры речи такой что пишет "работный сайт", а потом я увидел несколько статей где так же употребляется слово "работный", мало того что слух режет, так ведь у слова " работный" есть вполне определённое значение. Прям вот сразу перехотел к ним устраиваться.

Борис, открою тайну, скорее всего, Вы просто есть в базе, точнее, Ваше резюме и писать, что нашла Вас на хх/хабре и тд иногда палевно)) а тут образно описали. И да, многие употребляют это слово «работный», не особо вдаваясь в подробности

Сложно

работный сайт - работный дом
правильная цепочка ?

Ээээ скорее типа хх хабр линк и прочее

Да. У меня только с этим значением и ассоциируется, да и гугл по первой ссылке выдает

И awk и многое другое :)

Ой, как тонко. Вы же пишите хрюше, о чем речь

Может потому что когда то давно проучиося пару курсов на юр факе. Но другого значения до этого не встречал.

Там до сих пор не поддерживаются все хоткеи, тайлинг и даже в виме не меняется форма курсора )))

Я ставил когда сидел на пиратках

Привет, есть ли кто-то кто работал с shapeless? Хочу парсить спарк объекты с его помощью (dataframe => dataset implicitly), но пока получаю ошибку, не знаю, куда дальше смотреть.
Если кто-то делает так, напишите в личные сообщения 😉

в виме я что-то ловил, но с тайлингом нет проблем вроде