Size: a a a

2020 January 14

DZ

Dmitry Zuev in Data Engineers
Не понял при чем тут админы
источник

MB

Mikhail Butalin in Data Engineers
прогиб засчитан... Ж)))
источник

DZ

Dmitry Zuev in Data Engineers
источник

DZ

Dmitry Zuev in Data Engineers
Ааа, админы чата. Понял
источник

A4

Anon 43 in Data Engineers
для джунов чата по теме нет?
источник

DZ

Dmitry Zuev in Data Engineers
Здесь вполне
источник

OP

O. Petr in Data Engineers
Эти стейты если не ошибаюсь и удалять можно, просто не знал что можно с noTimeout сделать, а то оно и не нужно еще и вотермарки тыкать, по идее оно в примере вечно будет висеть и управляется через заданные кейс классы ?
источник

S

Stanislav in Data Engineers
Anon 43
для джунов чата по теме нет?
это он и есть )
источник

S

Stanislav in Data Engineers
просто не надо писать про горящие экзамены )
источник

A4

Anon 43 in Data Engineers
тогда и писать в общем-то нечего)
источник

A4

Anon 43 in Data Engineers
когда не горит, можно и самому почитать конечно
источник

A

Alex in Data Engineers
Сколько не смотрю стейты в спарке, но после flink и beam ощущение что говно и палки, вместо норм интерфейса
источник

DM

Daniel Matveev in Data Engineers
Anon 43
когда не горит, можно и самому почитать конечно
смешно
источник

R

Renarde in Data Engineers
Alex
Сколько не смотрю стейты в спарке, но после flink и beam ощущение что говно и палки, вместо норм интерфейса
так они и в флинке и в биме реализованы точно так же
источник

R

Renarde in Data Engineers
O. Petr
Эти стейты если не ошибаюсь и удалять можно, просто не знал что можно с noTimeout сделать, а то оно и не нужно еще и вотермарки тыкать, по идее оно в примере вечно будет висеть и управляется через заданные кейс классы ?
из стейта можно удалять, у него есть команды get / delete (просто в примере только get)
источник

R

Renarde in Data Engineers
считай что это просто KV база с операциями get / delete / update
источник

R

Renarde in Data Engineers
Renarde
так они и в флинке и в биме реализованы точно так же
да даже просто по описанию API - это чистой воды те же конструкции
https://ci.apache.org/projects/flink/flink-docs-stable/dev/stream/state/state.html
источник

A

Alex in Data Engineers
@renardeinside Using Managed Keyed State

value, map, list, etc

плюс что-то ещё кроме памяти добавили только в spark 3.0
https://issues.apache.org/jira/browse/SPARK-28120
источник

R

Renarde in Data Engineers
Alex
@renardeinside Using Managed Keyed State

value, map, list, etc

плюс что-то ещё кроме памяти добавили только в spark 3.0
https://issues.apache.org/jira/browse/SPARK-28120
А мы уже используем роксовый стейт - он в поставке от датабрикс идёт 🙂
источник

A

Alex in Data Engineers
ну вот потиху превращают в нормальное состояние =)

раньше что апи было печаль (особенно стейты для rdd, когда они умели подыматься после рестарта, но после падения ноды были пустыми)
что варианты “всё должно быть в памяти”

рад, что ситуация меняется
источник