S
питоновская либа pyspark общается с явовской прилой?
Size: a a a
2021 October 26
GP
у нее под капотом жава рантайм, пиклом из петона тащит данные в жвм
ЕГ
Ничё оно не тащит, пока тупандас не сделаешь, просто методы вызывает через py4j)
A
ну и там не совсем пикл, а скопированный себе
https://github.com/cloudpipe/cloudpickle
который не привязывается к путям на диске
https://github.com/cloudpipe/cloudpickle
который не привязывается к путям на диске
ЕГ
А то потом рассказывают, что пайспарк долго работает, и не потому, что кто-то хреново запрос написал
ЕГ
GP
да нет, мапы флетмапы пиклить будет
GP
соре
ЕГ
Dataframe api
ЕГ
И нет проблем
GP
AK
Народ, а в pyspark df не надо из памяти удалять?
df1 = read_parquet
df2 = df1
df2.shiw()
То df1 будет висеть?
df1 = read_parquet
df2 = df1
df2.shiw()
То df1 будет висеть?
ЕГ
Нет такого понятия, как датафрейм в памяти
ИК
сделал .persist, поработал, сделай .unpersist()
ЕГ
Если только не кеш, да
ИК
других удалений из памяти не нужно
ЕГ
Датафрейм это просто кусок плана запроса
GP
аст!