фишка в том, что он на самом деле не переключается никуда. и просто встает колом и прекращает проталкивать приложения,все умирает в NEW_SAVING

Нужно логи zk смотреть
С такими симптомами была проблема, правда ещё на 2.8.5
Rm пытался записать znod'у больше 1мб.
Решилось увеличением jute.maxbuffer

Ну, фенсинг от зукипер а прилетел, а на вопрос 'почему' могут ответить логи рма или задействованых сервисов..

Он до этого получал отлупы от зк, может поэтому.

Господа, а кстате. А за что вы так ETL-тулзы не любите?

ETL никто не любит, ими горели одно время и пытались конфиги делать километровые, однако сейчас очевидно что это тупик)

оркестрация идет в сторону языков и человеческих DSL и сам ‘ETL’ более гибкий и можно и не звать его ETLом

а зачем там конфиги? какие конфиги?

традиционный етл это ямла куча

ну или что-то такое

Мысль понятна, но не согласен конеч... Но надо подумать, что-то в этом есть... Спасибо

Добрый день! Нужна консультация дата инженера. Необходимо разобрать проект. Платно.

Я бы уточнил, что в вашем понимании разобрать. А то предложат -rm на серверах просто сделать.

любой каприз за ваши деньги :)

Ну мы тут профессионалы, поэтому «люблю/не люблю» это не термины в которых обычно рассуждают. Просто у классических ETL платформ довольно узкая ниша, и применение их за рамками ниши приводит к тому что борьба с инструментом затмевает любую ценность которую несёт инструмент.

Во-первых, что считать етл тулом. Если из разряда датастейдж/информатика/ссис, то у них довольно ограниченный скоуп использования и функциональность. Из ораклового одс взять, сагрегировать, переложить с лукапом по цсв в терадатку-прекрасно. Шаг влево/шаг вправо-начинается велосипедостроение и скриптинг-апи обстучать не работает, xml только заданной структуры делает и т.п. Ну и плюс когда логика етл сложная - все эти канвасы превращаются в филиал ада(например, сдс сделать) либо логика выносится на сторону базы и тогда система непрозрачна и непонятно зачем вообще нужна.
А попытки зайти на хадуп и из кубиков генерить скала код и вовсе тошнотворны и работают процентоы на 30 от заявленного.

А пентаха под макос не заводится вообще)

работает на маке

Ну если профессионалы того, как называется группа, то и ниша профессии довольно узкая: подготовить структурированный датасет. При этом желательно при необходимости профессионалу из другой области иметь возможность обьяснить, как собственно этот датасет был получен

Я ждал упоминания именно этого ПО ))))