Ну это можно)

Для начала стоит попробовать - если проблема решится, то надо эскалировать, чтоб поменяли исходную, так как она вероятно ошибочна

То есть новая таблица просто должна ссылаться на ту же директорию на файловой системе, я правильно понимаю?

Да

50 тысяч партиций в спарке это плохо?

от кластера и жобы зависит

Там скорей всего она такая не одна, это уже третий такой случай за недолгое время. Но тогда у девов получилось использовать производные колонки, хранившие рядом дату в бигинте, а тут путей обхода уже нет)

Спасибо большое, буду пробовать

Лучше сразу бить в tableau за изменение типов между файлами и таблицей)

Вначале сделал так:

df.write.partitionBy(f1, f2, f3).json(path)

На небольших количествах данных, работало нормально, однако при 50 тысячах появились тормоза. Подозреваю, что это из-за партиций.

ну много партиций будет медленно если у тя тонкий кластер

Зато по памяти норм

на жирном кластере 50к партиций наоборот классно будет

Это на AWS glue с максимальными настройками

что значит максимальные настройки

if (dtfInput != null) {
                           timestamp = Date.from(Instant.from(dtfInput.withZone(inputTimezone).parse(timestampText))).getTime();
                       } else try {
                           // timestamp is in milliseconds
                           timestamp = new Double(timestampText).longValue();

                           // timestamp is in seconds
                           if (timestamp < 100_000_000_000L) {
                               timestamp *= 1000L;
                           }
                       } catch (NumberFormatException e) {
                           // timestamp is ISO
                           timestamp = Date.from(Instant.parse(timestampText)).getTime();
                       } // fail otherwise

ну зачем же сразу бить? можно как-то так например

Там всего 300 ехекуторов можно

В глю

Ну параллелизм до максимума того, что в квотах- у нас 1000 машин.

параллелизм до максимума?