A
когда там оказывается МНОГО записей
Size: a a a
2019 September 24
M
в metastore?
A
да
AK
А вот не пишет( На repartition падает NullPointerException, очень странно
Caused by: java.lang.NullPointerException
at org.apache.spark.sql.execution.datasources.parquet.ParquetWriteSupport$$anonfun$org$apache$spark$sql$execution$datasources$parquet$ParquetWriteSupport$$makeWriter$8.apply(ParquetWriteSupport.scala:164)
AK
Я пока заново наливаю таблицу с writeLegacyFormat в true. Отпишусь, помогло ли
A
в metastore?
в PARTITION_KEY_VALS 22млн+ записей
и это начинанает тупить в некоторых запросах из-за кривого формата хранения
и это начинанает тупить в некоторых запросах из-за кривого формата хранения
AZ
а кто как hive масштабирует?
мне тоже интересно, мы умеем только плодить метасторы/хайвсервера и делить их между тенантами
A
ясно, просто у нас один и там некоторые запросы начинают подвисать на 30+ секунд на выгребании метаданных
AZ
в хайве нет возможности разделить метастор, проблема схожая с масштабируемостью неймноды
AZ
но вот какие-нибудь экстремальные опции с очень быстрыми базами - было бы интересно послушать
A
там больше у меня претензии к тому как они запихали в хранилище PARTITION_KEY_VALS =\
в качестве ключа хранят varchar и дальше в зависимости от того что это за партиция начинают каст к нужному типу
а так как там еще и строка HIVE_DEFAULT_PARTITION может храниться, то всё становится очень грустно =(
в качестве ключа хранят varchar и дальше в зависимости от того что это за партиция начинают каст к нужному типу
а так как там еще и строка HIVE_DEFAULT_PARTITION может храниться, то всё становится очень грустно =(
AZ
да, там много мест где можно улучшить
A
where ((case when "FILTER0"."PART_KEY_VAL" <> '__HIVE_DEFAULT_PARTITION__' then cast("FILTER0"."PART_KEY_VAL" as decimal(21,0)) else null end) = '1138926');
и таких фильтром через OR у нас до 1000+ доходит =(
и таких фильтром через OR у нас до 1000+ доходит =(
A
пока только видел от яхо презентацию
https://www.slideshare.net/Hadoop_Summit/oraclestore-a-highly-performant-rawstore-implementation-for-hive-metastore
https://www.slideshare.net/Hadoop_Summit/oraclestore-a-highly-performant-rawstore-implementation-for-hive-metastore
AZ
наши когда писали престо пытались там что-то починить
A
но они так и не вмержили еще это
AZ
наши тоже ничего не выдали наружу, теперь все в QG живет
AZ
where ((case when "FILTER0"."PART_KEY_VAL" <> '__HIVE_DEFAULT_PARTITION__' then cast("FILTER0"."PART_KEY_VAL" as decimal(21,0)) else null end) = '1138926');
и таких фильтром через OR у нас до 1000+ доходит =(
и таких фильтром через OR у нас до 1000+ доходит =(
у вас бареметал или облако?
A
бареметал в постгре
A
как уже сказал в самом PARTITION_KEY_VALS 22млн+
выборка из таблицы с 50к+ партициями
и вот когда на такой вот веселый фильтр в котором 1к+ записей через or нарывается
то становится очень печально
выборка из таблицы с 50к+ партициями
и вот когда на такой вот веселый фильтр в котором 1к+ записей через or нарывается
то становится очень печально