P
Alpaka + parquet4s
Size: a a a
2021 March 06
DZ
Ну типа
P
Ну, я уже понял, что уровень изъёбства у всех свой))
GP
Коллеги, а кто как пишет из кафки на, например, S3 или (вдруг до сих пор!) на hdfs?
Флюм и кафку коннект не предлагать🙂
Флюм и кафку коннект не предлагать🙂
fs2
P
Ага, понял
AZ
а какая инфраструктура у спарка?
Компьют, логи/метрики, метаданные, если пускаем простых пользователей - расширение модели безопасности для авторизаций
K
Компьют, логи/метрики, метаданные, если пускаем простых пользователей - расширение модели безопасности для авторизаций
Ну если есть хдфс, значит скорее всего есть и компьют )
GP
Ну если есть хдфс, значит скорее всего есть и компьют )
нет
K
Ну как это нет
AZ
Ну если есть хдфс, значит скорее всего есть и компьют )
Там про S3 речь была вроде
K
Там про S3 речь была вроде
Ну какой то компьют нужен , хоть локальная машина
K
Спарку нужно все тоже самое , что и любому сервису
AZ
Ну какой то компьют нужен , хоть локальная машина
Ну какой-нибудь AWS Batch, конечно
AZ
Или джобы на кубере
GP
Ну как это нет
ну можно просто кучу машин и там спаркокластер сделать
спарк скедулером
спарк скедулером
AZ
Фаргейт профайл, вы ничего не платите если там ничего не бежит
GP
я не вижу просто связи ‘если есть хдфс есть и компьют'
GP
хжфс можно поднять и без ярна
GP
или что значит это предложение
AZ
Можно наверное запускать внутри локальный спарк, но это немножко в гамаке и стоя, особенно в плане отладки потом