L
Может, внутри функции дублируются временные данные?
Size: a a a
2021 January 06
L
Питоновский сборщик мусора довольно ленив. Если ты вызовешь явно import gc; gc.collect() , как расход памяти меняется?
нет, ничего не происходит
пробовал
пробовал
ЕТ
Вроде бы concat создаёт дубликат как раз.
ЕТ
А сколько весит сам датасет?
L
Вроде бы concat создаёт дубликат как раз.
а куда он его пишет? как можно убить? или избежать?
ЕТ
Leonid
а куда он его пишет? как можно убить? или избежать?
К сожалению, моих знаний недостаточно. Попробую загуглить. Навскидку можно удалять сразу же те два датасета, которые клеите.
L
А сколько весит сам датасет?
как раз примерно 11 гб в памяти после загрузки из паркета
L
Вроде бы concat создаёт дубликат как раз.
ты прав! без конката вернул память, после завершения функции
как теперь избежать последствий конката?
как теперь избежать последствий конката?
ЕТ
Leonid
ты прав! без конката вернул память, после завершения функции
как теперь избежать последствий конката?
как теперь избежать последствий конката?
По-моему, никак, потому что, грубо говоря, concat берёт из двух ячеек памяти данные и клеит их в новую того же размера. А потом старые данные чистятся. Можно посмотреть, как клеить данные на месте.
ЕТ
ЕТ
Может, проще будет преобразовать в np.array(), склеить на месте через какой-нибудь append, а в конце уже переделать в DataFrame. Думаю, так в принципе меньше памяти займёт.
SL
Чисть неиспользующиеся чего-нибудь можно с помощью del, например (грубо говоря)
SL
Т.е. контакт вам создал дубликат данных, вы можете предыдущие данные пометить, как удаленные с помощью del,что освободит память
SL
Вроде бы concat создаёт дубликат как раз.
Он несовсем так делает. Большинство функции, как и конкат резервируют новую память и в нее копируют данные
S
L
ну так всё верно. ты определил данные, склеил их и присвоил переменной, которая и держит их в памяти. в чем трабл?
трабл в том, чтобы от нее избавиться..
только проблема в том, что переменной уже нет этой - функция завершила работу и всю локальную область почистила
только проблема в том, что переменной уже нет этой - функция завершила работу и всю локальную область почистила
L
Чисть неиспользующиеся чего-нибудь можно с помощью del, например (грубо говоря)
нечему del делать - нет переменной после окончания работы функции
S
Leonid
трабл в том, чтобы от нее избавиться..
только проблема в том, что переменной уже нет этой - функция завершила работу и всю локальную область почистила
только проблема в том, что переменной уже нет этой - функция завершила работу и всю локальную область почистила
т.е она ничего не возвращает?
L
S