хм. Посмотрел все логи. По логам видно, во сколько всё упало (дыра в пару часов в hiveserver2.log). Но почему это произошло - не видно ни в .log  ни в .err файликах 🤔

в логах оси не смотрел?

мб какой нибудь оом киллер?

/var/log/messages

/var/log/syslog

ооо
огонь

kernel: java invoked oom-killer:

Спасибо огромное!

Всем привет, есть вопрос по устройству Hive метаданных. Вот часто вижу что инженеры когда пишут пайплайны сохраняют данные в orc/parquet где из типов данных бывают boolean, int, string, timestamp, etc., но вот у Хайва все поля указаны как стринг. Я примерно понимаю почему так сделано - со стрингами довольно часто легче работать а когда нужно агрегировать - всегда можно сделать конвертацию (schema on read и всё такое), но есть ли какое более общирное объяснение этой концепции, плюсы/минусы? Что у вас в компаниях используется?

Когда так делают, потом очень удобно спарком читать (на самом деле нет, всё падает из-за несовпадения схемы)

Да знаю, уже умудрен опытом что Спарк просто падает и нужно читать файлы напрямую, хотя тот же хайв справляется со всем этим без вопросов

Но видимо юзеры только хайв используют потому им особо проблем не составляет

Но так до сих не понимаю в каких конкретно обстоятельствах принимаются такие решения

обращайся :)

В обстоятельствах "у нас же аналитики спарк не знают, поэтому всё будет на хайве, поэтому мы будем делать альтер тейбл и всякую другую дичь, а вы со своим спарком как хотите, так и разбирайтесь"

кто нибудь встречал такую ошибку через аирфлоу и хайв кли делаю динамическо партицирование

А колонка какого типа?

Привет! Нужна помощь с созданием ESRI geo функций в Impala (https://github.com/Esri/gis-tools-for-hadoop). Из всех, которые есть в исходниках, только 4 не создаются из-за ошибки "CatalogException: No compatible function signatures found in class: com.esri.hadoop.hive.<имя класса функции>". Может кто сталкивался или понимает куда копать?

Нашел в исходниках Impala: https://github.com/apache/impala/blob/master/fe/src/main/java/org/apache/impala/service/CatalogOpExecutor.java. Exception выдает если if (funcs.isEmpty()). Не пойму как List<Function> funcs может быть пустым. Как проверить можно?

В класспасс положил точно все что надо? Как используешь?