Size: a a a

AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

2021 January 06

X

Xplwfcwef041 in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ssv
прости, а данные ты нормализовал?
Там только нули и еденицы
источник

L

Leonid in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Sergey L
Как пример, можно посмотреть, как удалить импортированную библиотеку, таким же способом в списке питон загруженных обьектов вручную вврезать результат конката.
в списке переменных нет ничего подозрительного, того, чего бы там не было до запуска функции
источник

X

Xplwfcwef041 in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Снизить да?
например, вместо  нуля поставить 0.01 а вместо еденицы 0.5
источник

L

Leonid in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Sergey L
зачем вам пустой ретерн?
возможно ваш метод живет со всеми данными, потому что сам метод импортирован и существует в памяти, но тема все-равно странная. Если не поможет удаление вручную, попробуйте после того, как метод отработает его вручную удалить с помощью то ли sys, то ли os. И потом сделать del
без return те же 11 гб остаются
источник

S

Ssv in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Xplwfcwef041
Снизить да?
например, вместо  нуля поставить 0.01 а вместо еденицы 0.5
например вычесть среднее... или robust scaler
источник

X

Xplwfcwef041 in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ssv
например вычесть среднее... или robust scaler
Аа
источник

X

Xplwfcwef041 in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Попробую, спасибо большое
источник

SL

Sergey L in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Leonid
без return те же 11 гб остаются
Если после запуска функции удалить метод из памяти, то тоже память остается висеть?
источник

SL

Sergey L in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
странно, что память зависает, возможно гарбадж коллектор не освобождает, как выше вроде кто-то писал... но все-равно странно, если все переменные локальные и удаления разных видов вручную не решают вопрос. В такой формулировке больше не приходит ничего в голову. Страннте поведение.
Попробуйте рестартануть свое окружение, может это висяк с прошлого запуска и после рестарта его не будет?
Ну, т.е. может память висит во время только данного процесса юпитера
источник

L

Leonid in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
ну в смысле саму же функцию? удалял.. - эффекта 0
и gc.collect() после запускал..
источник

L

Leonid in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Sergey L
странно, что память зависает, возможно гарбадж коллектор не освобождает, как выше вроде кто-то писал... но все-равно странно, если все переменные локальные и удаления разных видов вручную не решают вопрос. В такой формулировке больше не приходит ничего в голову. Страннте поведение.
Попробуйте рестартануть свое окружение, может это висяк с прошлого запуска и после рестарта его не будет?
Ну, т.е. может память висит во время только данного процесса юпитера
restart ноутбука - всегда помогает:) естественно
источник

SL

Sergey L in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Leonid
restart ноутбука - всегда помогает:) естественно
Не, смысл в том, что оно всегда зависает и после рестарта? При переписанном методе, как выше
источник

L

Leonid in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Sergey L
Не, смысл в том, что оно всегда зависает и после рестарта? При переписанном методе, как выше
оно это кто?
источник

SL

Sergey L in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Ну, вы написали метод с только локальными переменными, фулла у вас в итоге нигде нет, был чек с методами, при перезапуске нотбука и запуске метода этого - память все-равно висит?
источник

SL

Sergey L in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Тема странная, потому что с конкатами работал и нетолько, память не повисала. Даже, если повисала, то вручную чистилась, даже на gpu.поэтому необычно, что так происходит
источник

DD

David Dale in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Leonid
ну в смысле саму же функцию? удалял.. - эффекта 0
и gc.collect() после запускал..
Возможно, пандасовский коннектор с базой данных создаёт неявную глобальную переменную. Я бы их документацию поковырял.
источник

DB

Dmitry Belkevich in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
всем привет. есть где-то чатик по языку R? есть вопрос
источник

S

Scientist in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Список айтишных чатов и каналов телеграма:
https://github.com/goq/telegram-list
источник

DB

Dmitry Belkevich in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
там, увы, нет. искал
источник

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
источник