Если датафрейм по результатам вычислений первых трёх не особенно большой, можно рискнуть и забродкастить его, и попробовать поджойнить так. Ещё возможно, что у вас там в четвертой табличке skew по ключам, попробуйте это проверить, и, если так, то нужно будет посолить.
Смотрим, стоит ли на эирфлоу переходить или нет :) У нас в основном все на питоне и кажется, что с эирфлоу станет удобнее, но т.к. все работает и неплохо, то планов по переходу пока нет. Подов штук 100 наверно, не больше
Под Argo Workflow можно писать на любом языке, там же спека по которой можно нужно породить YAML, для Argo/Kubeflow был Couler - DSL на питоне (правда сырой), можно и самим написать