N
Я ему сказал, но он, похоже, после завершения всех —command все равно шлет коммит
Size: a a a
2019 September 18
ПФ
Я ему сказал, но он, похоже, после завершения всех —command все равно шлет коммит
в конце -c конечно выполнится коммит если ты не скажешь сделать роллбэк
N
Это поведение никак не поменять?
S
SET tez.queue.name=prod;
SET hive.execution.engine=tez ;
SET hive.merge.tezfiles=true ;
SET hive.merge.tezfiles=true ;
SET hive.merge.orcfile.stripe.level=true ;
SET hive.exec.dynamic.partition=true ;
SET hive.exec.dynamic.partition.mode=nonstrict ;
SET hive.merge.size.per.task=200000000 ;
SET hive.merge.smallfiles.avgsize=200000000 ;
INSERT OVERWRITE TABLE from select * from table
селект работает в прод очереди, мердж в дефаулт очереди
судя по https://issues.apache.org/jira/browse/HIVE-7509 он сначала делает операцию конкатенации, потом вставку
и ты напарываешься как раз на сброс очереди между ними
попробуй обход - сначала ALTER TABLE table_name [PARTITION (partition_key = 'partition_value' [, ...])] CONCATENATE;
потом инсерт
и это изврат, сделай спарком - быстрее же )
и ты напарываешься как раз на сброс очереди между ними
попробуй обход - сначала ALTER TABLE table_name [PARTITION (partition_key = 'partition_value' [, ...])] CONCATENATE;
потом инсерт
и это изврат, сделай спарком - быстрее же )
K
судя по https://issues.apache.org/jira/browse/HIVE-7509 он сначала делает операцию конкатенации, потом вставку
и ты напарываешься как раз на сброс очереди между ними
попробуй обход - сначала ALTER TABLE table_name [PARTITION (partition_key = 'partition_value' [, ...])] CONCATENATE;
потом инсерт
и это изврат, сделай спарком - быстрее же )
и ты напарываешься как раз на сброс очереди между ними
попробуй обход - сначала ALTER TABLE table_name [PARTITION (partition_key = 'partition_value' [, ...])] CONCATENATE;
потом инсерт
и это изврат, сделай спарком - быстрее же )
хайв быстрее
S
сильно?
K
сильно?
ну вот на тасках взять из партиции и положить тож самое обратно ,но пожатое - да
S
интересно даже за счет чего выигрыш
таблицы менеджмент?
таблицы менеджмент?
K
экстернал
K
интересно даже за счет чего выигрыш
таблицы менеджмент?
таблицы менеджмент?
да и проще это на самом деле, у хайва есть контроль конечного размера нормальный
K
берешь партицию делаешь прям инсерт и он мержит файлики нормально
S
если бы из каждого куска хайва не торчали грабли )
спарк понятней себя ведет )
спарк понятней себя ведет )
K
если бы из каждого куска хайва не торчали грабли )
спарк понятней себя ведет )
спарк понятней себя ведет )
а у спарка просто грабли за тобой летают
S
да давно пора на мпп валить, сколько можно уже )
2019 September 19
OP
на сколько надежно из nifi напрямую в спарк ?
S
это как?
S
там внутри же ссылка на ливи
S
а если через обычный экзекут - спарк-сабмитом норм
AZ
SocketStream наверное
AZ
ненадежно короче, используйте промежуточный сторадж