с количеством партиций)

shuffle partitions?

ограничение spark.dynamicAllocation.maxExecutors есть?

Глянул, нет

Понял, спасибо:)

Вообще немного странно. Я предполагал, что если на кластере условно 60 ядер - то Allocation Manager не должен запрашивать 500 :/

А почему нет)

Спарк не знает, сколько на кластере ядер

Его дело запросить

И получить, сколько выдали

запрашивает сток скок ему хочется 🙂

а ему типо выдают или не выдают

и он с этим живет или не живет

Всем привет, такой вопрос (AWS Athena + AWS GLUE)

У меня есть словарь он может только увеличиваться, представте себе что это журнал вакцинированных заполняется в GoogleSheet

Дата || ФИО

я планирую добавить еще одно поле
.withColumn('sys_updated_time', F.from_utc_timestamp(F.current_timestamp(),"Europe/Kiev"))

.withColumn('dates', F.to_date('sys_updated_time'))

и по полю dates делать партию,
.repartition("dates")
.partitionBy("dates")
получится что у меня на каждый день будет актуальные данные.

В самой БД (AWS Athena),  сделать view где будет
select * from my_vacsnations_guys where dates = current_date

Это нормальная практика или нужно делать SCD2 ?

Спасибо за внимание

вам на каждую дату “sys_updated_time” будет приходить полный снепшот данных (со всеми вакцинированными)? или только данные по новым людям?
я бы делал SCD2-справочник и его PIT-версию (Point-In-Time на текущую дату)

Со всеми вакцинированными
И это первый слой (raw/cold layer )

Всем привет! При чтении паркетника, в Pyspark где в имени колонок «фамилия человека», то есть недопустимые символы, ничего нельзя сделать, даже любые попытки переименовать и убрать пробел крэшатся. В гугле решения не нашёл. Сталкивался кто?

а вообще грустно: https://issues.apache.org/jira/browse/PARQUET-677 - патч есть, но закрыт по неактивности.