W
визуализация-алертинг - графана
Size: a a a
2019 October 04
OI
Airflow?
блин, тоже так думал, сделать даг с @once) но потом подумал, что как-то некошерно, наверное))
OI
хотя, почему нет...
K
ну не постоянно
даже хотя бы разово. Мне нужно 20+ штук. Не запускать же их через spark-submit из консоли через какой-нибудь tmux или nohup)
даже хотя бы разово. Мне нужно 20+ штук. Не запускать же их через spark-submit из консоли через какой-нибудь tmux или nohup)
Я скрипт написал
K
Вам в ярн?
OI
да, в ярн)
OI
Я скрипт написал
скрипт для spark-submit'ов?
K
Ну у нас скрипт принимает конфиг со списком джоб, лезет в ярн, смотрит что такой джобы нет в очереди и запускает
OI
Ну у нас скрипт принимает конфиг со списком джоб, лезет в ярн, смотрит что такой джобы нет в очереди и запускает
оо,прикольно)
K
У нас правда один фет джар на все джобы
K
Но не прнципиально
OI
У нас правда один фет джар на все джобы
хехе, classic) у меня тож
K
хехе, classic) у меня тож
Мы ещё докер образ сделали
K
И монтируем к нему конфиг
K
Поэтому можно запускать хоть с локальной машины
K
Скрипт я наверное выложить не могу, но там всего 120 строчек для деплоя(можно впринципе накрутить для останолого менеджмента)
Основная идея. Принять конфиг со списком джоб:
-параметры ярна
- имя
-очередь
-папка которую импортнуть нужно в класс пасс(содержит индивидуальные конфиги джобы типа application.conf)
-класс который нужно запуститить
Дальше скрипт парсит это всё дело, лезет в ярн смотрит, есть ли соответвтие имя джобы- очереди и если нет - то запускает
Основная идея. Принять конфиг со списком джоб:
-параметры ярна
- имя
-очередь
-папка которую импортнуть нужно в класс пасс(содержит индивидуальные конфиги джобы типа application.conf)
-класс который нужно запуститить
Дальше скрипт парсит это всё дело, лезет в ярн смотрит, есть ли соответвтие имя джобы- очереди и если нет - то запускает
K
ну и импорты такие
import subprocess
import sys
import requests
from pyhocon import ConfigFactory
import subprocess
import sys
import requests
from pyhocon import ConfigFactory
OI
Скрипт я наверное выложить не могу, но там всего 120 строчек для деплоя(можно впринципе накрутить для останолого менеджмента)
Основная идея. Принять конфиг со списком джоб:
-параметры ярна
- имя
-очередь
-папка которую импортнуть нужно в класс пасс(содержит индивидуальные конфиги джобы типа application.conf)
-класс который нужно запуститить
Дальше скрипт парсит это всё дело, лезет в ярн смотрит, есть ли соответвтие имя джобы- очереди и если нет - то запускает
Основная идея. Принять конфиг со списком джоб:
-параметры ярна
- имя
-очередь
-папка которую импортнуть нужно в класс пасс(содержит индивидуальные конфиги джобы типа application.conf)
-класс который нужно запуститить
Дальше скрипт парсит это всё дело, лезет в ярн смотрит, есть ли соответвтие имя джобы- очереди и если нет - то запускает
а в ярн по rest?
K
а в ярн по rest?
Да
OI
окей, спасибо большое)