N
да ты не вкуриваешь. в 1 приложении надо 3 датафрейма. коллега видимо хочет их получение обмазать билдерами зачем-то
Size: a a a
2021 September 28
ЕГ
А, типа распилить единую колбасу трансформов?
TL
Не то что бы не нравится. Я пытаюсь понять как сейчас делают.
Но есть определенный bias из опыта java.
Сорри за псевдо Java\Scala:
@Component
public class Df1 {
@Source("hdfsPath")
public Dataframe mapDf(sourceDf) {
return sourceDf
.select ....
.where ....
}
}
@Component
public class Df2 {
@Source("df1")
public Dataframe mapDf(sourceDf) {
return sourceDf
.select ....
.where ....
}
}
Но есть определенный bias из опыта java.
Сорри за псевдо Java\Scala:
@Component
public class Df1 {
@Source("hdfsPath")
public Dataframe mapDf(sourceDf) {
return sourceDf
.select ....
.where ....
}
}
@Component
public class Df2 {
@Source("df1")
public Dataframe mapDf(sourceDf) {
return sourceDf
.select ....
.where ....
}
}
ЕГ
Есть варик тогда более элегантный - имплисит классы с вашими трансформациями, чтоб писать:
df
.myTransform1()
.myTransform2()
.vasyasTransform5()
.write
...
df
.myTransform1()
.myTransform2()
.vasyasTransform5()
.write
...
ЕГ
Делают миллиардом разных способов, каждый своим, единого подхода нет
N
Ну имхо это бессмысленный бойлерплейт, запутывающий структуру приложения.
TL
Я не говорю что хочу именно так, скорее пытаюсь узнать как делают)
Как делать лучше)
И как не надо делать)
И есть ли дополнительные фреймворки которые поверх спарка заставляют придерживаться какой то архитектуры (если да, насколько широко их используют)
Как делать лучше)
И как не надо делать)
И есть ли дополнительные фреймворки которые поверх спарка заставляют придерживаться какой то архитектуры (если да, насколько широко их используют)
ЕГ
Ну вот Серёжа скинул пример фреймворка)
N
Кто вам hdfs path то забиндит? DI контейнера то нету.
TL
То есть мне Spring говорит - пиши компоненты, дай контейнеру их связать автоматически.
Не пиши new, не пиши сам main
Не пиши new, не пиши сам main
TL
А это один из вопросов был. Есть ли и используется ли что то похожее
ЕГ
А вообще "поверх спарка" - это плохой подход
Иногда спарка недостаточно, нужно подтягивать другие компоненты
Иногда спарка недостаточно, нужно подтягивать другие компоненты
ИК
используют редко, в основном пишут свои обёртки по необходимости
TL
И вопрос есть ли что то в инфраструктуре спарка, что будет рекомендовать мне какую то архитектуру
ЕГ
Так что надо делать зонтичный етл-фреймворк с ридерами, трансформами и райтерами
ЕГ
У спарка нет инфраструктуры как таковой
ЕГ
Создал сессию и делай чё хочешь вообще
N
Ну если спринг в спарк тащить, можно сразу в клинику неврозов ложиться, на отделение рантайм ошибок.
SS
> vasyasTransform5
Женя, я твой фанат!!! )))
Женя, я твой фанат!!! )))
TL
😂