да, правда нам надо кафку обновить =(
С 2.4.0 есть метод OFFSET_DELETE

Спасибо!

Пожалуйста

Добро пожаловать в самое дружелюбное комьюнити.

дяденьки, здравствуйте!
поделитесь работающим docker-compose для запуска dynamodb-local (с сохранением данных в docker volume) ?

Aws динамо выложил для локального запуска?

так вот тут же есть
https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/DynamoDBLocal.DownloadingAndRunning.html

нерабочее разве?

Всем привет! Проконсультируйте пожалуйста.
У меня сейчас Cloudera CDH HDFS, YARN, Spark, Hive, Impala. В силу того, что cloudera стала платной, надо пересмотреть стек технологий так, чтобы это было наименее безболезнено и легко.
Я погуглил, кажется можно инсталлировать Kubernetes поставить там все вышеперечисленные технологии (HDFS, Spark насчет других не уверен) и расслабиться.
Посоветуйте какие-нибудь еще варианты например стоит ли переезжать на s3 или че нить другое

вы вообще платить не желаете?

да или немножка...

А почему вы не хотите бесплатный Hadoop использовать? Кажется что это наименее болезнено, чем полностью новый стек осваивать

Arenadata ещё есть, подешевле вроде cloudera и русская поддержка

я хотел попутно изучить новый стек повысить квалификацию. Ты имеешь ввиду ванильный поставить?

вот вы на специалистах, которые вам эти кубернетисы будут сопровождать, больше потратитесь нежели на облачных решениях либо платной клаудере он-премис

ванильный, бигтоп, аренадата

"наименее болезненно мигрировать" и "изучить новый стек"  в известном смысле противоречивые цели

Да я что-то посмотрел этот видос https://databricks.com/session/hdfs-on-kubernetes-lessons-learned
Все выглядит так, как будто поднял контейнер датаноды, неймноды шлеп-шлеп

так это хдфс

а вы про S3 спрашиваете - вы на AWS живете? почему не EMR тогда?

Ну я предполагаю, что hdfs уже возможно поднять в k8s, спарк тоже, осталось определиться с hive, impala

не у нас бареметал свой датацентр