S
А как сейчас с найфаем живется? Хочется избавится от различных скриптов в кроне
перетащи в дженкинс
найфай живее всех живых, но
найфай живее всех живых, но
Size: a a a
2019 September 26
N
Странно, что airlow для оркестрации не всплывает
СХ
Natalia
Странно, что airlow для оркестрации не всплывает
сейчас можно дженкинсами, гитлабами и куберами автоматизировать\оркестрировать
AZ
Таки не бывает серебрянной пули. Инфу хоть поддерживают более менее сносно. К тому же, ее основная задача это оркестрация, а не свистелки. Конечно, раз есть должно работать, но ведь у самих вендоров зачастую бывают проблемы со своими же продуктами)
как раз проблема классических ETL тулов в том что они являются комбайном, который объединяет планировщик, язык для преобразования данных, компьют, метаданные - и чтобы все это объединить нужно масса компромиссов, в результате получаются монстры как у одного моего клиента: для планировщика используется Control-M, преобразования определяются шаблонами и SQL, все это бежит в Терадате, но если спросить "какой у вас ETL инструмент?" то вам скажут - Informatica!
YI
как раз проблема классических ETL тулов в том что они являются комбайном, который объединяет планировщик, язык для преобразования данных, компьют, метаданные - и чтобы все это объединить нужно масса компромиссов, в результате получаются монстры как у одного моего клиента: для планировщика используется Control-M, преобразования определяются шаблонами и SQL, все это бежит в Терадате, но если спросить "какой у вас ETL инструмент?" то вам скажут - Informatica!
😅
YI
Это так.
N
Но там такое описание не проканает.
АЗ
Никита, благодарю! Описание изменю)
A
Вроде же канал сказали для вакансий....
R
Вроде же канал сказали для вакансий....
+
АЗ
Простите, больше не буду)
AR
ЗП?
MB
Разобрался со сплитом
MB
Ответ - hbase.regionserver.regionSplitLimit
По умолчанию 1000, а надо больше. Иначе сплиты встают.
По умолчанию 1000, а надо больше. Иначе сплиты встают.
S
Ответ - hbase.regionserver.regionSplitLimit
По умолчанию 1000, а надо больше. Иначе сплиты встают.
По умолчанию 1000, а надо больше. Иначе сплиты встают.
у вас регионы не перекошены?
MB
в каком смысле?
R
сап чат. Вопрос по использованию Spark-to-HBase коннектора - не было ли у кого-нибудь такой ошибки:
Я сделал exclusions для всех модулей, которые связаны с Hbase, но он все равно падает при запуске тестов(
Caused by: java.lang.IllegalStateException: Detected both log4j-over-slf4j.jar AND slf4j-log4j12.jar on the class path, preempting StackOverflowError. See also http://www.slf4j.org/codes.html#log4jDelegationLoop for more details.
at org.apache.log4j.Log4jLoggerFactory.<clinit>(Log4jLoggerFactory.java:49)
... 88 more
Я сделал exclusions для всех модулей, которые связаны с Hbase, но он все равно падает при запуске тестов(
A
И что не понятно?
Мешанина из логеров, причём версии log4j несовместимые тянутся
Мешанина из логеров, причём версии log4j несовместимые тянутся
A
Вполне возможно одна 1.2 и вторая из свежих каких