Size: a a a

2021 March 06

P

Pavel in Data Engineers
Dmitry Zuev
Alpaka + parquet4s
источник

DZ

Dmitry Zuev in Data Engineers
Ну типа
источник

P

Pavel in Data Engineers
Ну, я уже понял, что уровень изъёбства у всех свой))
источник

GP

Grigory Pomadchin in Data Engineers
Pavel
Коллеги, а кто как пишет из кафки на, например, S3 или (вдруг до сих пор!) на hdfs?
Флюм и кафку коннект не предлагать🙂
fs2
источник

P

Pavel in Data Engineers
Ага, понял
источник

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
а какая инфраструктура у спарка?
Компьют, логи/метрики, метаданные, если пускаем простых пользователей - расширение модели безопасности для авторизаций
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
Компьют, логи/метрики, метаданные, если пускаем простых пользователей - расширение модели безопасности для авторизаций
Ну если есть хдфс, значит скорее всего есть и компьют )
источник

GP

Grigory Pomadchin in Data Engineers
KrivdaTheTriewe
Ну если есть хдфс, значит скорее всего есть и компьют )
нет
источник

K

KrivdaTheTriewe in Data Engineers
Ну как это нет
источник

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
Ну если есть хдфс, значит скорее всего есть и компьют )
Там про S3 речь была вроде
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
Там про S3 речь была вроде
Ну какой то компьют нужен , хоть локальная машина
источник

K

KrivdaTheTriewe in Data Engineers
Спарку нужно все тоже самое , что и любому сервису
источник

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
Ну какой то компьют нужен , хоть локальная машина
Ну какой-нибудь AWS Batch, конечно
источник

AZ

Anton Zadorozhniy in Data Engineers
Или джобы на кубере
источник

GP

Grigory Pomadchin in Data Engineers
KrivdaTheTriewe
Ну как это нет
ну можно просто кучу машин и там спаркокластер сделать
спарк скедулером
источник

AZ

Anton Zadorozhniy in Data Engineers
Фаргейт профайл, вы ничего не платите если там ничего не бежит
источник

GP

Grigory Pomadchin in Data Engineers
я не вижу просто связи ‘если есть хдфс есть и компьют'
источник

GP

Grigory Pomadchin in Data Engineers
хжфс можно поднять и без ярна
источник

GP

Grigory Pomadchin in Data Engineers
или что значит это предложение
источник

AZ

Anton Zadorozhniy in Data Engineers
Можно наверное запускать внутри локальный спарк,  но это немножко в гамаке и стоя, особенно в плане отладки потом
источник