ну здрасьте, не пробовали целый день говорить?

У меня была неделя по 6-7 часов непрерывного общения каждый день

Потом заболел:)

с sql такой подход сработает, а в любитеям сlojure придется страдать

Быстрее уже Neurolink заработает, и можно будет отказаться от клавы и мышки

что-то не очень похоже)

обычно первым делом пытаются избавиться от проджект менеджеров 😉

Это если менеджеров больше чем рабочих рук)

сначала наймут консультанта, я думаю

Ну аудит провести ж надо, что тут и как работает)

удивительно, компания основана выходцами из постсоветского пространства и они применяют те же методы при увольнении, никогда такого не было и вот опять

они тут пылесосили людей не подецки, может просто разработка переезжает в более дешовую локацию?

есть у меня данные от двух типов систем -
1. большой файл с кучей строк, 2-4 раза в день
2. маленькие json'ы но очень часто, несколько в секунду
данные 2 надо обрабатывать, вторые близко к реальному времени,
обрабатывать: трансформировать json в плоскую структуру, что-то выкинув, сохранить части плоской структры в 3 sql таблицы, можно делать в паралель.
хочется иметь возможность переобработки входящих данных, если програмисты где-то накосячили, что-то поменялось во входящем формате,
первое отлично решается через apache airflow,
или можно использовать apache airflow для второго типа задач? или там будет слишком большой overhead?

мне нужны срезы информации(данные за день, данные за неделю...) по этому 3 таблицы, если можете подсказать направление с готовой системой - спасибо

> 2. маленькие json'ы но очень часто, несколько в секунду
зависит от объема, но для таких задач обычно используют stream processing решения. Airflow с трудом вписывается в эту категорию.

да, смотрим на Kafka, но хочется что-то уровня airflow вокруг неё

если живете в мире AWS, то посмотрите в сторону Step Functions Express Workflows

есть решениe не складывать все яйца в aws, поэтому не смотрим на kinesis, но да живём в aws