M
Но не скажу что я прям кровь из носа пытался
Size: a a a
2020 March 20
M
Хотелось более оптимально копировать данные темповые из hdfs в s3
M
Потому что иногда s3 не справлялся из-за количества файлов
GP
а ты в рамках джобы какотйо или как? в плане зачем ее из кода вызывать это же cli утилитка
M
а ты в рамках джобы какотйо или как? в плане зачем ее из кода вызывать это же cli утилитка
В рамках джобы написанной на джаве
DZ
Ilgiz Akhmedzhanov
Со всех источников трубят, мол: "Все на удалёнку, что делать на удалёнке, как организовать работу 100000 сотрудников на удалёнке" и т.д.
А что, серьёзно компании начали людей из офисов выводить? (я студентик, я не знаю)
А что, серьёзно компании начали людей из офисов выводить? (я студентик, я не знаю)
Наша тоже, уже почти
G
в джобс с этим лучше переместись)
а можно ссылку?)
ММ
В моем Московском офисе с 16 марта всем "офисным" сотрудникам очень рекомендовали перейти на удаленную работу из дома. Разрешили даже взять домой рабочий комп. Некоторые перешли. С малейшими признаками заболевания в офис сказали однозначно не появляться.
DM
В моем Московском офисе с 16 марта всем "офисным" сотрудникам очень рекомендовали перейти на удаленную работу из дома. Разрешили даже взять домой рабочий комп. Некоторые перешли. С малейшими признаками заболевания в офис сказали однозначно не появляться.
с этим можно и в джобсах
DM
давайте останемся здесь при технических обсуждениях (те кто выживут)
IA
Data jobs
Data Engineers related вакансии и обсуждение
Фид: https://t.me/datajobschannel
Для связи: @krivdathetriewe @pomadchin @optician_owl
https://t.me/datajobs
Data Engineers related вакансии и обсуждение
Фид: https://t.me/datajobschannel
Для связи: @krivdathetriewe @pomadchin @optician_owl
https://t.me/datajobs
GP
A
Привет. Проблема следующая - читаю спарком csv и записываю в паркет. В csv есть некоторые колонки, которые содержат пробелы в названии колонки, а паркет ломается, при попытке записать это. Как с этим бороться?
РП
На правах офтопа. Оторвать руки тем кто делает названия колонок с пробелами.
РП
Имхо, надо как то заменить пробелы на например "_"
MV
Привет. Проблема следующая - читаю спарком csv и записываю в паркет. В csv есть некоторые колонки, которые содержат пробелы в названии колонки, а паркет ломается, при попытке записать это. Как с этим бороться?
Игнорировать названия колонок, читать отдельно header и обрабатывать, потом читать тело.
Либо всё делать вместе - как удобней
Либо всё делать вместе - как удобней
OI
На правах офтопа. Оторвать руки тем кто делает названия колонок с пробелами.
ну можно туда ещё спецсимволы добавлять) тоже веслый результат получается
MV
На правах офтопа. Оторвать руки тем кто делает названия колонок с пробелами.
Да такого полно. С качеством данных почти никогда идеально не бывает
MV
Это ещё спасибо что без кириллицы