DG
Интересно, у всех ambari metrics collector жрёт память по конски. или я такой счастливый один...
А всякие TTL настроены?
Size: a a a
2020 January 21
DG
В крайнем случае можно всегда сделать heap dump и посмотреть, если есть подозрения на leak.
VS
Интересно, у всех ambari metrics collector жрёт память по конски. или я такой счастливый один...
у нас была вроде такая проблема точечно, но решение не помню, вроде в логах должен быть ответ
2020 January 22
DM
Кто знает есть ли способ удаления hive parititons по range? Я знаю что есть, но почему то у меня все мои способы не получаются. Я использую spark 2.1 и hive 1.*
DM
Или хотя бы как то чекать сущесвует ли партиция boolean какой нибудь
РП
Кто знает есть ли способ удаления hive parititons по range? Я знаю что есть, но почему то у меня все мои способы не получаются. Я использую spark 2.1 и hive 1.*
Удаляю партиции в спарке циклом. Даже если партиции нет, ошибки не происходит и цикл продолжается.
РП
А, потому что там написано у меня IF EXISTS
РП
У меня партиция по дням.
#Drop partition
print('Drop partition')
for b in i_date_s:
start_date=b.strftime("%Y-%m-%d")
drop="""ALTER TABLE scheme.table DROP IF EXISTS PARTITION ( partition ='""" + start_date + """')"""
sql(drop)
#Drop partition
print('Drop partition')
for b in i_date_s:
start_date=b.strftime("%Y-%m-%d")
drop="""ALTER TABLE scheme.table DROP IF EXISTS PARTITION ( partition ='""" + start_date + """')"""
sql(drop)
DM
@RomanPashkevich у меня if exists не было, поэтому ошибку бросало)
DM
@RomanPashkevich Я тоже ничего не нашел, поэтому начал циклом удалять. Понятно, спасибо
D
DM
@dmtron у меня хайв той же версии, но у меня не работает так
DM
@dmtron спасибо, я просто прошелся по циклу
D
Пожалуйста.
C
Добро пожаловать в самое дружелюбное комьюнити.
DM
Можно ли как то сделать distcp на scala? у меня очень много и сложных путей которые динамически строятся, надо перетащить файлы из этих путей, консольно не получится, очень долго придется мучиться.
PA
можно сгенерировать строчку скалой и дальше вызвать из баша уже готовую :)
ну или потыкать апишку
ну или потыкать апишку
DM
@e7suK07e7su не, это чересчур)
DM
@e7suK07e7su не хочу просто на spark'e это писать, думал просто перекинуть как-нибудь файлы, но я как понимаю другого варианта кроме как spark'a нет