ИК
Спасибо. В целом понял что какого стандарта нет.
Перечисленные выше библиотеки посмотрю обязательно.
Size: a a a
2021 September 28
TL
N
Дбт как-то отдалённо похоже, но это петухон.
Д
Не, нужно хвостовую рекурсию ....
R
Ребята, а как вам такое?
https://github.com/zubtsov/spark-etl-generic/tree/main/src/test/scala/org/zubtsov/spark/etl1
https://github.com/zubtsov/spark-etl-generic/tree/main/src/test/scala/org/zubtsov/spark/etl1
NN
И что это вообще?
R
Это попытка применить dependency injection к датафреймам спарковским
R
И ещё пару идей не реализованных
NN
Ну хоть доку какую сделай, что-ли.
R
R
Согласен, нужное дело. В свободное время стараюсь пилить, пока только javadocs навесил местами, а сгенерить ещё не успел(
GP
а чем не зашел ‘диай’ ‘обычный’; используя izumi / ask из cats-mtl / tofu (ну ридер какойнить) / зиво лееры
R
Идея переиспользовать существующий DI контейнер была и есть, но проблема в том, что там инжектаются поля класса, а в данном случае аннотированы параметры метода
R
Ещё одно ограничение, что тебе мало построить этот граф зависимостей и потом обращаться к контейнеру за его узлами по имени. Тебе нужно по нему пробежаться причем учитывая направленность связей
R
Поэтому сделать кастомный injection было проще, на начальном этапе, в качестве POC. Возможно в будущем удастся переиспользовать существующие DI фреймворки
GP
нипонятно что код делает)) сделай доку мож типо без инжекшона твоего / с твоим инжекшоном мож будет яснее
R
Вместо бинов ты объявляешь таблицы, а либа связывает их между собой и вычисляет/строит/записывает в нужном порядке. Т.е. ты лишь объявляешь узлы графа с помощью аннотациий. Узлами графа являются DataFrame's, а ребрами - зависимости между таблицами
R
По сути это шаблон ETL джобы, которая кастомайзится через аннотации
R
Доку обязательно сделаю, просто пока к сожалению не было времени(
2021 September 29
DM
А знает ли кто tool для рисования ETL диаграмм по коду? Натравил ее на репозиторий и она показывает, что ты читаешь таблицы A, B и C, а производишь D и E