SI
Привет, Spark 3.1.2.
spark.table(…).limit(1000000).collect() генерирует этот план
spark.table(…).limit(1000000).toPandas()` генерирует такоеSize: a a a
2021 November 03
SI
`
SI
и падает с OOM, видимо потому что пошаффлил данные на одном экзекьютере
SI
Первое работает, потому что на драйвере куча памяти, чтобы собирать спарком большие датасеты
SI
Почему
toPandas() так криво работает? Как вы собираете в пайспарке большие датасеты, скажем, для обучения?
DZ
читай сразу пандасом
SI
1) из коробки он не умеет читать из S3
2) хочется уметь SQL делать перед скачиванием датасета
2) хочется уметь SQL делать перед скачиванием датасета
DZ
1. умеет
SI
уау
SI
не знал
DZ
2. делай такую выборку которая влезет тебе в память, тут дело не в спарке
SI
ты предлагаешь выборку писать в S3 перед скачиванием, это в принципе норм
SI
pd.read_parquet("s3://...") прям работает?GP
мне кажется просто больше памяти требует
DZ
возможно близкое к х2
GP
GP
ток s3fs или что там заинсталь