PL
данных мало, а вычислений требуется много
Size: a a a
2022 February 04
PL
расчет хорошо реагирует на добавку ядер
ИК
попробуйте EDA провести, хотя бы на предмет количества записей, и сколько их в каждом файле
k
ну, может, тогда и репартицировать не нужно? дикинуть ядер и усе
PL
EDA? А что это?
k
но плсмотрите в UI, есть ли признаки skew. то, о чем коллега говорит - глянуть, что там в инпуте + -
k
exploratory data analysis
ИК
exploratory data analysis
PL
конечно, в UI наблюдаю skew
k
можете просто сделать read, вызвать ф-ю input_file_name и сгруппировать count по ней
PL
спасибо, попробую
k
причина skew может быть и не в инпуте, а в том, что за расчеты вы делаете
ИК
может оконные функции в запросах?
ИК
ну просто spark.read.parquet(path).repartition(3000) не может не раскидать записи, если они вообще есть)
PL
в этом и был мой вопрос
PL
оконок нет
PL
я кое что накопал - делаю dataset.repartition(oldPartitionNum + 1), и это работает
k
но есть в дате что-то с cardinality = 300, судя по всему 🤔 и если оно используется в shuffled операциях, repartition может быть без толку. но это оч странно все..
PL
но там большая логика, и в неё впихнуть репартишн.... хз. Может поиграться shuffle.partitions?