K
Спросили же как
Size: a a a
2021 March 06
K
Кинул свое полелие
A
Я к тому что Спарк можно запустить ста способами , какой нибудь вам подойдёт
Перекладывать файлы можно обычным куском кода, хоть java с spring kafka
GP
есть вырождается случай в local[*] то спарк нинад.
AZ
В докуберные времена мрачного онпрема это был нормальный вариант для приземления в HDFS, так работал Camus, но для облачной инфраструктуры Спарк это большой оверхед для логистики данных
UR
Перекладывать файлы можно обычным куском кода, хоть java с spring kafka
K
Перекладывать файлы можно обычным куском кода, хоть java с spring kafka
Менеджмента партиций не будет :)
K
Ну то есть Спарк программа либо падает , либо читает весь топик , а со спрингом вы весело будете читать из одной партиции, а из другой нет , так как приложение упало
AZ
Ну и вообще там же приземлятор в S3 пилят в MSK, скоро это будет просто конфиг для Кафки
K
В докуберные времена мрачного онпрема это был нормальный вариант для приземления в HDFS, так работал Camus, но для облачной инфраструктуры Спарк это большой оверхед для логистики данных
Ну вот тут люди хдфс в Амазоне подымают без ярна, вдруг оно дешевле будет Амазон батча?
GP
Ну вот тут люди хдфс в Амазоне подымают без ярна, вдруг оно дешевле будет Амазон батча?
да прост уж выкинуть хдфс писать в с3 батчами
K
да прост уж выкинуть хдфс писать в с3 батчами
Ну так можно , допускаю
GP
что знач допускаешь))) большинство амазона так работает ж
K
что знач допускаешь))) большинство амазона так работает ж
Смотри как пост изначально выглядит
K
Переслано от Pavel
Коллеги, а кто как пишет из кафки на, например, S3 или (вдруг до сих пор!) на hdfs?
Флюм и кафку коннект не предлагать🙂
Флюм и кафку коннект не предлагать🙂
AZ
Ну вот тут люди хдфс в Амазоне подымают без ярна, вдруг оно дешевле будет Амазон батча?
Это могут делать ради производительности, и то в узких случаях, дешевле никак быть не может, мы же с вами видим цены на EBS
K
Тут ни слова про Амазон, есть только слово с3 которым может хоть минио оказаться
K
Коршуны :(
GP
Тут ни слова про Амазон, есть только слово с3 которым может хоть минио оказаться
И ни слова про ярн