ну можно на питоне скриптик который это чекает и в тг пишет

Ещё вопрос - кто-нибудь сталкивался с тем, что счет от Амазона вышел очень большим (личный аккаунт)? Почему - буду разбираться. Больше интересуют последствие неоплаты, весь оплатить я не смогу.

Разок был у меня аккаунт где я недоплатил 10 баксов за s3 (тупо забыл про него). Через год вспомнил и попробовал зайти - не получилось залогиниться с комментарием «Account suspended», и я забил. Возможно за 10 долларов им лень впрягаться было, но за более крупную сумму могут и начать куда-нибудь писать

Смотря на сколько большим, почитайте на хабре есть статья, про то, как поломали личный аккаунт и дальнейшие разбирательство с суппортом.(спойлер-все прошло хорошо)

Если в AWS/EMR, то там есть стандартные способы скейлинга - но они работают только для воркеров. Master и core узлы будут продолжать есть деньги. Можно в cloudwatch следать алерт если на кластере N часов вообще ничего не работает.

Всем привет, pyspark, есть df с udf, не понимаю что происходит, делаю следующее:

1. df = df.withColumn(udf)
2. df.cache()
3. df.select().saveAsTable()
4. df.filter().select().saveAsTable()
5. df.collect() = []

Хочу считать udf только один раз, для этого делаю cache(). Пробовал делать checkpoint, но это при этом udf пересчитывается много раз.
Почему после второго сохранения df пустой?
Почему после первого сохранения df не пустой?
Где можно поискать объяснений? спасибо

потому что df = df.cache() нужно

вы же декларируете даг

а не исполняете

исполнение ток в 3,4,5

А почему вы ожидаете , что udf выполнится один раз.  Он же для каждой строки отработан . Сколько строк . Столько раз и выполнится. Даже , если будет кэш

имел ввиду один раз для строки

сап чат! вопрос - а кто-нибудь пробовал использовать TiDB + Ti-Spark в связке? на сайте все оч красиво расписано, но из клиентов только китайские компании

ок, но это не меняет поведения:
после сейвов - датафрейм становится пустым.

я так не думаю

думаю дело в коде

который мы так и не увидели

+, вроде локализировал проблему, поразбираюсь сам, спасибо