SI
Блин, ну это хрень какая-то а не
.toPandasdef collect_pandas(table_name):
dataframes = (
pd.read_parquet(path=path)
for path in spark.table(table_name).inputFiles()
)
return pd.concat(dataframes, axis=0)
работает как боженька, спасибо
Size: a a a
2021 November 03
SI
работает как боженька, спасибо
DZ
ты где такую глину откопал?
SI
сам написал, а чего это сразу глина
DZ
хотя бы от того что тебе спарк сессия нужна на пустом месте
DZ
так тебе таблицу читать или файло?
SI
у меня спарк сессия есть как данность, ты мне предлагаешь через хайв пути до файлов получать?
DZ
спарк сессия есть как данность
DZ
И ярн небось как данность
DZ
и ДЕ которые охуевают от экзекуторов на 1Тб
SI
@zuynew в оригинальном вопросе я сказал, что у нас тонкие экзекьютеры, толстый драйер — Jupyter ноутбук, где ML инженер может собрать датасет
SI
Ярна нет, есть кубер — с экзекьютерами на 1ТБ я не охуеваю
DZ
настоящая бигдата
GP
можно как угодно на самом деле
GP
просто спарк для этого долго
GP
не думаю что в ствоем случае это на чтото влияет правда
GP
и так и так долго
GP
и много памяти
DZ
Кроме запущенного жвма