dbplyr умеет делать pushdown, да, будут в PG исполняться (речь про R как я понимаю)

а вообще вы удивитесь как много сатанистов рады писать SQL если платформа где они его запускают - быстрая, надежная и простая (не требует думать про количество экзекьюторов, памяти и ядер на экзекьюторах и тд)

так потому и спрашиваю. не знаю, то что я видел сатанистов, это какие-то верующие в магию. у него какая-то там абстракция в R которая тянет из кластера в память R сервера 2 ТБ и падает на 3%
я спрашиваю как ты думал что это сработает, ну в zeppelin же работает

т.е. они там фигачат код в этих абстракциях не задумываясь где это исполняется и почему памяти хватает

Потому что очень плохо выстроена поддержка

кем ?  у кого вы ее покупали ?

не надо луиджи. Идите сразу в airflow. Luigi не умеет сенсоры из коробки. Сенсоры нужны когда у вас есть зависимость между пайплайнами, скажем П1 отработал и положил результат в БД или в файлик. П2 не должен начинать работу пока не убедится что данные от П1 на месте. В луиджи только по расписанию и начинается головная боль - с  течением времени пайплайны начинают работать медленнее и что это у нас качество данных в третьем пайплайне упало, не понятно. (а он использует данные к примеру из второго, а второй начал работать до того как первый отработался до конца и вообще теперь данные в inconsistent state).
Опять же нет вроде в луиджи удобного алертинга из коробки. Когда в эирфлоу я могу любой упавший степ ошибку в slack или email запушить без особого напряга

по этой логике за EMR бы тоже никто не платил.. клаудеру/хортон можно было использовать бесплатно - люди не платили, все просто

лол

нинада

хых, отличное чтиво под чаёк

"кровавый энтерпрайз" на пару тб, как это знакомо

как говорится, велкам!!

Я и не брал)) Почему человеку не подойдут?

не, ну постгрю советовать после оракла это такой себе дауншифт.

Ну да, ну да. Не догадались, что именно нужно, вымогали детали проблемы, заставили человека защищать существующее решение и реализацию. Короче, сообщество не справилось со своей задачей! Так?

какая-то личная тут тема затронута чтоли

мы вот маааленький стартап с 5 человеками постоянного стаффа, у нас

нене, ничо такого, просто беседу поддержать