DZ
Не понял при чем тут админы
Size: a a a
2020 January 14
MB
прогиб засчитан... Ж)))
DZ
Ааа, админы чата. Понял
A4
для джунов чата по теме нет?
DZ
Здесь вполне
OP
* на правах рекламы *
Я вот тут в своем посте это расписываю:
https://medium.com/@polarpersonal/state-storage-in-spark-structured-streaming-e5c8af7bf509
Я вот тут в своем посте это расписываю:
https://medium.com/@polarpersonal/state-storage-in-spark-structured-streaming-e5c8af7bf509
Эти стейты если не ошибаюсь и удалять можно, просто не знал что можно с noTimeout сделать, а то оно и не нужно еще и вотермарки тыкать, по идее оно в примере вечно будет висеть и управляется через заданные кейс классы ?
S
для джунов чата по теме нет?
это он и есть )
S
просто не надо писать про горящие экзамены )
A4
тогда и писать в общем-то нечего)
A4
когда не горит, можно и самому почитать конечно
A
* на правах рекламы *
Я вот тут в своем посте это расписываю:
https://medium.com/@polarpersonal/state-storage-in-spark-structured-streaming-e5c8af7bf509
Я вот тут в своем посте это расписываю:
https://medium.com/@polarpersonal/state-storage-in-spark-structured-streaming-e5c8af7bf509
Сколько не смотрю стейты в спарке, но после flink и beam ощущение что говно и палки, вместо норм интерфейса
DM
когда не горит, можно и самому почитать конечно
смешно
R
Сколько не смотрю стейты в спарке, но после flink и beam ощущение что говно и палки, вместо норм интерфейса
так они и в флинке и в биме реализованы точно так же
R
Эти стейты если не ошибаюсь и удалять можно, просто не знал что можно с noTimeout сделать, а то оно и не нужно еще и вотермарки тыкать, по идее оно в примере вечно будет висеть и управляется через заданные кейс классы ?
из стейта можно удалять, у него есть команды get / delete (просто в примере только get)
R
считай что это просто KV база с операциями get / delete / update
R
так они и в флинке и в биме реализованы точно так же
да даже просто по описанию API - это чистой воды те же конструкции
https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/state/state.html
https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/state/state.html
A
@renardeinside Using Managed Keyed State
value, map, list, etc
плюс что-то ещё кроме памяти добавили только в spark 3.0
https://issues.apache.org/jira/browse/SPARK-28120
value, map, list, etc
плюс что-то ещё кроме памяти добавили только в spark 3.0
https://issues.apache.org/jira/browse/SPARK-28120
R
@renardeinside Using Managed Keyed State
value, map, list, etc
плюс что-то ещё кроме памяти добавили только в spark 3.0
https://issues.apache.org/jira/browse/SPARK-28120
value, map, list, etc
плюс что-то ещё кроме памяти добавили только в spark 3.0
https://issues.apache.org/jira/browse/SPARK-28120
А мы уже используем роксовый стейт - он в поставке от датабрикс идёт 🙂
A
ну вот потиху превращают в нормальное состояние =)
раньше что апи было печаль (особенно стейты для rdd, когда они умели подыматься после рестарта, но после падения ноды были пустыми)
что варианты “всё должно быть в памяти”
рад, что ситуация меняется
раньше что апи было печаль (особенно стейты для rdd, когда они умели подыматься после рестарта, но после падения ноды были пустыми)
что варианты “всё должно быть в памяти”
рад, что ситуация меняется