K
бигдата?
ну вот есть у тебя табличка, там миллион записей clob по мегабайту, как вытаскиывать с пмощью jdbc непонятно
это был сарказм
3/4 инструментов бигдаты - это какие то парсеры экселя
Size: a a a
2019 December 24
K
это был сарказм
3/4 инструментов бигдаты - это какие то парсеры экселя
3/4 инструментов бигдаты - это какие то парсеры экселя
2r19
K
это был сарказм
3/4 инструментов бигдаты - это какие то парсеры экселя
3/4 инструментов бигдаты - это какие то парсеры экселя
как в итоге выгружаете?
S
у меня был такой мс скл с бинарями на 1,5тб. там таких проблем не было
а с терадатой - хз. сапорт же, чай не самосбор гп )
а с терадатой - хз. сапорт же, чай не самосбор гп )
AZ
Короче терадата не поддерживает выдачу записей больше 64килобайт jdbc драйвером в режиме выгрузки
жаль только терадата про это не знает)
N
Короче терадата не поддерживает выдачу записей больше 64килобайт jdbc драйвером в режиме выгрузки
А odbc?
AS
2019 December 25
AL
Господа, кто-нибудь сталкивался при работе с oozie со следующей проблемой. Есть workflow, в котором параллельно в несколько очередей запускаются экшены. В каждой очереди больше одного экшена. Проблема в следующем, в рандомный момент времени на рандомном экшене происходит зависание launcher job на 95%, при этом сама джоба отрабатывает. Кто знает, в чем может быть причина и как это победить ?
Смотрите на yarn.scheduler.maxumilum-allocati9n-mb должно быть достаточно для запуска всех задач. Только что решил свою задачу с такими же симптомами. В логах ничего не писала, что нехватает памяти. В дебаге если подключался то провисала на prep и не могла начаться.
AL
И ярн не убивал джобы из за нехватки ресурса. Хз с чем это связано.🤷♂
A
Смотрите на yarn.scheduler.maxumilum-allocati9n-mb должно быть достаточно для запуска всех задач. Только что решил свою задачу с такими же симптомами. В логах ничего не писала, что нехватает памяти. В дебаге если подключался то провисала на prep и не могла начаться.
Спасибо, попробую)
AL
Спасибо, попробую)
В интернетах пишут что такое ещё может быть из за неверных прав доступа на директории. Но это прям хз хз.
2019 December 26
N
Граждане, а кто-то использует application сервера для рана НЕхадупного самописного Java ETL? Глассфиш там и прочий JBoss. Надо ли вообще оно? Какие best practices?
N
Или затолкал jar в /etc/init.d и бог с ним?
N
Пусть там сам себя запускает.
GP
Граждане, а кто-то использует application сервера для рана НЕхадупного самописного Java ETL? Глассфиш там и прочий JBoss. Надо ли вообще оно? Какие best practices?
можешь использовать что угодно, тебе сессию главное создать и подключиться к кластеру с менеджером ресурсов и что б зависимости все были консистентны с ним
GP
а жависты такое старьё ещё используют? (любопытство)
N
а жависты такое старьё ещё используют? (любопытство)
вот и я решил узнать.
GP
вот и я решил узнать.
не используют (вроде); мне кажется у них спринг, гвт, жсф, плей, ваадин и тп
N
ну блин, у меня тоже спринг бут+батч+жпа. в доке написано упакуй в экзекутабл jar, сделай службой и сиди читай логи.