Ну если автор написал S3 вместо Ceph/Minio/Isilon то ССЗБ как говорит моя дочка

А никто не пробовал в PyCharm'e запустить spark structured streaming и вычитывать данные из кафки?

Пишет
pyspark.sql.utils.AnalysisException: Failed to find data source: kafka. Please deploy the application as per the deployment section of "Structured Streaming + Kafka Integration Guide".

Видимо как-то нужно указать зависимость:
--packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.1.1

но как это сделать в пайчарме непонятно и мануала не нашёл (

это один из параметров команды spark-submit

попробуйте добавить его в ваш Run Configuration в PyCharm

я понимаю, но я не в кластере запускаю

попробуй положить локально жарник и в укажи путь в конф

Спс, вроде вот такая конструкция помогла

SUBMIT_ARGS = "--packages org.apache.spark:spark-sql-kafka-0-10_2.12:3.1.1  pyspark-shell"
os.environ["PYSPARK_SUBMIT_ARGS"] = SUBMIT_ARGS

Уже почти подумал что проще на скале примерчик сделать )

Никто не помнит в каких релизах протобаф ломали в хадупе? Хочется подобрать скип версии для 2.7

А я правильно понимаю что в Spark streaming watermark считается от текущего времени?

Допустим, кластер спарка прилёг на 1 час при этом
withWatermark("time", "15 minutes")
мы всё что раньше 15 минут потеряем?

Или, если в качестве источника юзается кафка, он возьмёт мету из чекпоинта и попытается прочитать сообщения из кафки  с момента падения ?

Оу)

не

вотермарк считается от максимального времени, найденного в предыдущем батче

это не зависит от использования стейтфул. Он всегда пытается подняться с чекпоинта на хдфс

если его нет, то берет дефолты из вашего spark.readStream

Спс за инфу.  Это оказывается легко проверяется )

Привет!
Посоветуйте, пожалуйста, статейки про организацию документации хранилища и его производных, таблиц, дашбордов, отчетов и тп )

Я где-то слышал про ребят которые как-то парсят дашборды табло, и прямо из них достают используемые колоник, таблицы и простравают целое дерево, но найти ничего на эту тему не могу (

Это из Query Log базы проще достать