В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

1240 membersпожаловаться на группу
2021 April 22

A

Alex in Airflow
[email]
subject_template =
html_content_template =
источник
11:29пожаловаться#1

SC

Stanislav Chernov in Airflow
Нашел то что нужно, спасибо всем
источник
11:29пожаловаться#2

A

Alex in Airflow
это не шаблон письма)
источник
11:30пожаловаться#3

IS

Ivan Suroegin in Airflow
Скорее всего имелось ввиду поменять часть url в шаблоне письма с localhost на домен или ip адрес
источник
11:33пожаловаться#4

SC

Stanislav Chernov in Airflow
Судя по описанию base_url . как раз таки он в дефолт шаблон сделает подстановку из этого параметра
источник
11:42пожаловаться#5

SC

Stanislav Chernov in Airflow
Пока этого будет достаточно
источник
11:42пожаловаться#6

D

Dnz in Airflow
парни. что скажете про суперсет ?
источник
11:52пожаловаться#7

A

Alex in Airflow
надо брать)
источник
11:52пожаловаться#8

S

Shadle in Airflow
Привет, подскажите, пожалуйста, как на AirFlow при помощи каких операторов можно реализовать такой ETL процесс
Есть 2 базы данных
при появлении новых строк в таблице базы А сделать ETL в базу Б
и чтобы постоянно пендинговал это событие
источник
12:20пожаловаться#9

S

Shadle in Airflow
базы находятся на разных серверах
Из MSSQL в Postgresql
источник
12:20пожаловаться#10

S

Shadle in Airflow
Если есть мануал где-то, чтобы реализовать подобное премного буду благодарен
источник
12:21пожаловаться#11

OI

Oleg Ilinsky in Airflow
SQLSensor
но это не совсем триггер события. Это нужно раз в какой-то интервал или прям произвольно приходят строки и нужно чота грузить?
источник
12:23пожаловаться#12

S

Shadle in Airflow
строки приходят произвольно, по мере появления клиента в бд
источник
12:23пожаловаться#13

S

Shadle in Airflow
новый клиент появился, делаю ETL в postgres
источник
12:24пожаловаться#14

OI

Oleg Ilinsky in Airflow
Тогда это не про эирфлоу, к сожалению. У него нет триггера по событиям. Он может только запускать по расписанию и проверять условие.
источник
12:25пожаловаться#15

S

Shadle in Airflow
спасибо за ответ, возможно стоит просто делать тогда при помощи timedelta, что не очень хотелось
источник
12:26пожаловаться#16

yk

y k in Airflow
Это больше задачка на kafka connect, kafka синхронизация баз в риал тайме
источник
12:26пожаловаться#17

OI

Oleg Ilinsky in Airflow
+
и какой-нибудь спарк стриминг, если надо данные обрабатывать в процессе.
источник
12:27пожаловаться#18

OI

Oleg Ilinsky in Airflow
а в кафку какой-нибудь debezium может слать
источник
12:28пожаловаться#19

S

Shadle in Airflow
kafka+spark?
или можно только spark?
источник
12:29пожаловаться#20