Size: a a a

2021 June 23

S

Stanislav in Data Engineers
собрать дерево на 700 мегабайт с другой стороны тоже было бы непросто
источник

МК

Михаил Королев... in Data Engineers
spark парсит json еще из rdd, но это не решает проблему разбиения файла на записи-строки
источник

e

er@essbase.ru in Data Engineers
может быть достаточно разумным быть -  порезать слона на части
- написать сплиттер на файлы по 10к записей по маске начала новой записи
источник

AZ

Anton Zadorozhniy in Data Engineers
так это мультилайн или newline-delimited файл?
источник

AZ

Anton Zadorozhniy in Data Engineers
надо посмотреть что внутри, я встречал всякое, например newline-delimited json где каждая строка была красиво отформатирована (видимо чтобы данных в кафке было побольше)
источник

A

Aleksandr in Data Engineers
Всем привет. Кто знает, почему такая конструкция отрабатывает? Это какая-то известная фича withColumnRenamed? :)
источник

Б

Борис in Data Engineers
HRки ещё любят придумывать такие обороты полагая что это как то значимости придаёт. Мне как то раз пишут по вакансии: "нашла ваше резюме на работном сайте". Ну думаю мало ли, может человек опечатался или уровень культуры речи такой что пишет "работный сайт", а потом я увидел несколько статей где так же употребляется слово "работный", мало того что слух режет, так ведь у слова " работный" есть вполне определённое значение. Прям вот сразу перехотел к ним устраиваться.
источник

А

Александра in Data Engineers
Борис, открою тайну, скорее всего, Вы просто есть в базе, точнее, Ваше резюме и писать, что нашла Вас на хх/хабре и тд иногда палевно)) а тут образно описали. И да, многие употребляют это слово «работный», не особо вдаваясь в подробности
источник

ПФ

Паша Финкельштейн... in Data Engineers
Сложно
источник

e

er@essbase.ru in Data Engineers
работный сайт - работный дом
правильная цепочка ?
источник

А

Александра in Data Engineers
Ээээ скорее типа хх хабр линк и прочее
источник

e

er@essbase.ru in Data Engineers
источник

Б

Борис in Data Engineers
Да. У меня только с этим значением и ассоциируется, да и гугл по первой ссылке выдает
источник

ПФ

Паша Финкельштейн... in Data Engineers
И awk и многое другое :)
источник

А

Александра in Data Engineers
Ой, как тонко. Вы же пишите хрюше, о чем речь
источник

Б

Борис in Data Engineers
Может потому что когда то давно проучиося пару курсов на юр факе. Но другого значения до этого не встречал.
источник

ПФ

Паша Финкельштейн... in Data Engineers
Там до сих пор не поддерживаются все хоткеи, тайлинг и даже в виме не меняется форма курсора )))
источник

ПФ

Паша Финкельштейн... in Data Engineers
Я ставил когда сидел на пиратках
источник

S

Svitlana in Data Engineers
Привет, есть ли кто-то кто работал с shapeless? Хочу парсить спарк объекты с его помощью (dataframe => dataset implicitly), но пока получаю ошибку, не знаю, куда дальше смотреть.
Если кто-то делает так, напишите в личные сообщения 😉
источник

AZ

Anton Zadorozhniy in Data Engineers
в виме я что-то ловил, но с тайлингом нет проблем вроде
источник