проверил - должен подцепить из
checkpointLocation
, но сразу пара важных но:
- checkpointLocation скорее всего хранится на S3, который зачастую недостаточно persistent и может не записать самый последний апдейт и прочие проблемы Object Storage, читать вот тут -
https://spark.apache.org/docs/2.3.0/cloud-integration.html- данные стейта хранятся не самым оптимальным образом, поэтому если стейт очень жирный (скажем, терабайты), могут быть проблемы с производительностью