Size: a a a

2021 June 30

NN

No Name in Data Engineers
Если датафрейм по результатам вычислений первых трёх не особенно большой, можно рискнуть и забродкастить его, и попробовать поджойнить так.
Ещё возможно, что у вас там в четвертой табличке skew по ключам, попробуйте это проверить, и, если так, то нужно будет посолить.
источник

AF

Anna Flyingby in Data Engineers
3 миллиона строк:((
источник

AG

Alexander Gorokhov in Data Engineers
Префект щас пробуем
источник

A

Artur in Data Engineers
у нас арго, правда мы сразу его взяли, без эирфлоу. Используем только workflows, чтоб поды в кубере запускать
источник

K

KrivdaTheTriewe in Data Engineers
какой фидбек
источник

K

KrivdaTheTriewe in Data Engineers
много подов запускаете?
источник

A

Artur in Data Engineers
Смотрим, стоит ли на эирфлоу переходить или нет :)
У нас в основном все на питоне и кажется, что с эирфлоу станет удобнее, но т.к. все работает и неплохо, то планов по переходу пока нет.
Подов штук 100 наверно, не больше
источник

A

Artur in Data Engineers
Еще и версия пока 2.7 стоит, а уже 3.1 есть. Может webui починили, сейчас много логов тяжело показывает
источник

GP

Grigory Pomadchin in Data Engineers
а 3.1 зарелизили уже?
источник

GP

Grigory Pomadchin in Data Engineers
ого уже 3.1.1
источник

GP

Grigory Pomadchin in Data Engineers
)
источник
2021 July 01

AZ

Anton Zadorozhniy in Data Engineers
Под Argo Workflow можно писать на любом языке, там же спека по которой можно нужно породить YAML, для Argo/Kubeflow был Couler - DSL на питоне (правда сырой), можно и самим написать
источник

K

KrivdaTheTriewe in Data Engineers
эх
источник

K

KrivdaTheTriewe in Data Engineers
так что как
источник

K

KrivdaTheTriewe in Data Engineers
Что есть еще
источник

AZ

Anton Zadorozhniy in Data Engineers
В смысле?
источник

K

KrivdaTheTriewe in Data Engineers
ну помимо арго
источник

AZ

Anton Zadorozhniy in Data Engineers
Смотря что делать
источник

K

KrivdaTheTriewe in Data Engineers
я не совсем понимаю как правильно писать расширения на аргофлоу, чтобы были какие-то специфические свои операторы, а также их ямл не нравится
источник

K

KrivdaTheTriewe in Data Engineers
замена эирфлоу
источник