ЕГ
А не таблица с кучей партиций, из которой выбирается одна?
Size: a a a
2019 February 26
ЕГ
В которой лежит 1 файл)
AA
Сам ручками туда через пут залил. И читаю через read.csv
ЕГ
Странно, откуда тогда прунинг...
AA
Евгений Глотов
Странно, откуда тогда прунинг...
Я не совсем понял что происходит при этом обрезании, поэтому буду разбираться.
2019 February 27
AM
Доброе утро) Возможно есть функция по объединению 2-ух pairRdd по ключу если типы значений одинаковы(для String - объединяет в Itterable<String>.
Сложность заключается в том что я не знаю сколько итераций join-ов у меня будет. И не хотелось бы вызывать каждый раз функцию map после объединения.
Сложность заключается в том что я не знаю сколько итераций join-ов у меня будет. И не хотелось бы вызывать каждый раз функцию map после объединения.
N
А как executor получает задания от драйвера? Через какой механизм они пересылаются? Интерестно увидеть прямо класс
N
Я бы ожилал , ,что executor слушает сокет.
N
Но не нашел такого в классе Executor
N
Он похоже через Rpc общается. Типа драйвер может вызвать метод экзекьютера через rpc
AS
надо провести merge двух датафреймов (A и B) по ключу, при этом если запись (может быть только одна или ноль) уже существует, то надо провести по колонкам некоторые операции (сумма, взять min|max и т.д.),
кроме того как сделать left join и пробежаться по всем записям есть другие решения?
кроме того как сделать left join и пробежаться по всем записям есть другие решения?
AS
интересно, спасибо, есть предположение что будет быстрее (с обеих сторон несколько десятков милионов записей, по размеру несколько терабайт)?
ЕГ
Да и попроще работать в одной колонке, чем в двух разных, особенно если таких пар колонок сотни
IR
Всем привет! Данные залиты хайвом. После чего несколько партиций залили спарком. Как оказалось типа данных некоторых полей у этих выгрузок отличаются и если читать спарком все партиции разом, то новые партиции, выгруженные спарком зануляются (все значения none). Если отдельно читать последние партиции, то все ок. Как лучше всего привести к общему знаменателю, не меняя конфиг спарка и его схему?
N
А какой формат хранения у вас
IR
Orc
A
А если читать только старые партиции? Или если читать все хайвом?
S
Всем привет! Данные залиты хайвом. После чего несколько партиций залили спарком. Как оказалось типа данных некоторых полей у этих выгрузок отличаются и если читать спарком все партиции разом, то новые партиции, выгруженные спарком зануляются (все значения none). Если отдельно читать последние партиции, то все ок. Как лучше всего привести к общему знаменателю, не меняя конфиг спарка и его схему?
Может прочитать старое и новое, а потом склеить уже дфами?
IR
А если читать только старые партиции? Или если читать все хайвом?
Хайвом завтра попробую
2019 March 02