GP
кстати рибята тут спрашивали а что использовать если не скопт или скаллоп -> https://live.jugru.org/video?v=MTAwMTAyiiM2OTgzijA
Size: a a a
2021 October 11
GP
ну все теперь дистейдж юзать буду в спарках эх
ПФ
деклайн же!
GP
все так!
GP
Паша смотрит все толки, очень достойно
GP
VI
Народ вы кто нибудь использует этот параметр при чтении spark.sql.files.maxPartitionBytes.
Пытался применить что бы понять как работает не получается.
sparl.sql('set spark.sql.files.maxPartitionBytes=209715200')
df=spark.sql("""select * from table""")
df.rdd.getnumpartitions()
Выводит: 200, Я так понимаю, это то, что по умолчанию уставлено в spark.sql.shuffle.partitions.
Как я понял из гугла, если правильно использовать можно эффективней читать.
Пытался применить что бы понять как работает не получается.
sparl.sql('set spark.sql.files.maxPartitionBytes=209715200')
df=spark.sql("""select * from table""")
df.rdd.getnumpartitions()
Выводит: 200, Я так понимаю, это то, что по умолчанию уставлено в spark.sql.shuffle.partitions.
Как я понял из гугла, если правильно использовать можно эффективней читать.
ПФ
Чего не так?
ПФ
Я честно говорю не помнил что в толке
GP
это был комплемент
GP
ПФ
Аааа
ПФ
Я помнил что мне больше всего понравилось
ПФ
Как ваш доклад прошёл?
GP
хорошо
GP
спасибо за площадку, мне понравилось
ПФ
Ура :) Как тебе роль эксперта?
ПФ
Приходи выступать!
GP
странное название ток эксперта) но площадка хорошая
GP
приду!