O
Ситуация: в компании развернули pentaho kettle , которая standalone версия, ходят по нему через rdp, напили уйму джобов и теперь решение уже не справляется, на что можно перевести эти джобы, желательно опенсорс, free ware? Кроме airflow
Size: a a a
2020 February 06
DO
Ситуация: в компании развернули pentaho kettle , которая standalone версия, ходят по нему через rdp, напили уйму джобов и теперь решение уже не справляется, на что можно перевести эти джобы, желательно опенсорс, free ware? Кроме airflow
А чем плох Airflow? Просто любопытно.
O
Нужна команда полноценных разработчиков, там просто все это хозяйство sql разработчики поддерживают
AZ
Нужна команда полноценных разработчиков, там просто все это хозяйство sql разработчики поддерживают
продолжайте использовать SQL, просто перетащите код в темплейты и запускайте из эйрфлоу
PR
Что вы имеете ввиду когда говорите "в разрезе очередей/джобов"? Если вам нужна статистика по hdfs, можно использовать fsimage exporter в прометеус
Что такая-то очередь столько-то hdfs bytes written/read. В апи эта информация есть. Прежде чем писать свой костыль пробую найти, может уже есть готовое.
I
Ситуация: в компании развернули pentaho kettle , которая standalone версия, ходят по нему через rdp, напили уйму джобов и теперь решение уже не справляется, на что можно перевести эти джобы, желательно опенсорс, free ware? Кроме airflow
А как много джобов?
O
несколько десятков
O
это влияет на что-то?
AK
Что значит "не справляется"-то?
AK
Мы вообще на спарк потихоньку всё переписываем с пентахи, но это другая история, пентаха вполне справляется
O
Производительность не на высоте, задачи могут выполняться часами, понятно, что это зависит от многих факторов, но я сейчас ищу, что-то вроде серебренной пули, чтобы серверно, распредленно но при этом не требовало наличия разработчиков с высокой квалификацией в штате
AS
не сочтите за рекламу) http://blog.skahin.ru/2018/05/lsm.html
вот если хеш заменить на красно черное дерево то было бы намного лучше в плане изучения
AZ
Производительность не на высоте, задачи могут выполняться часами, понятно, что это зависит от многих факторов, но я сейчас ищу, что-то вроде серебренной пули, чтобы серверно, распредленно но при этом не требовало наличия разработчиков с высокой квалификацией в штате
это будет очень приблизительная мера, особенно если учесть что чтения по сети и локальные очень по-разному стоят.. я бы взял конкретно тормозящие джобы и разбирал их, почему они долго считаются
N
не сочтите за рекламу) http://blog.skahin.ru/2018/05/lsm.html
Спасибо. Отличная статья. Уже прочёл . Все просто класс ! Все понятно
AZ
сам разрез метрик ввода/вывода по очередям не имеет смысла, очереди не управляют это характеристикой никак, плюс все та нагрузка что идет вообще мимо ярна (загрузки/выгрузки, престо/импалы)
А
ребят, можете пояснить вкратце, в чем цимес CreateOrReplaceTempView в Spark?
я так понял, что temporary view лейзи и не грузится в память, пока над ним не произведутся экшены, а также создается как sql-таблица для запросов через hiveql, например
я так понял, что temporary view лейзи и не грузится в память, пока над ним не произведутся экшены, а также создается как sql-таблица для запросов через hiveql, например
А
но как он в принципе хранится?
А
до того, как персистится в память, я имею в виду
РП
+ тоже бы послушал. Использую TempView для загрузки данных с Hana. Интересно было бы узнать как оно там под капотом...
AZ
ребят, можете пояснить вкратце, в чем цимес CreateOrReplaceTempView в Spark?
я так понял, что temporary view лейзи и не грузится в память, пока над ним не произведутся экшены, а также создается как sql-таблица для запросов через hiveql, например
я так понял, что temporary view лейзи и не грузится в память, пока над ним не произведутся экшены, а также создается как sql-таблица для запросов через hiveql, например
это метаданные в спарк сессии, нужны чтобы потом, например, написать SQL против этого датафрейма (иногда полезно)