SK
Size: a a a
2021 January 04
SK
Можно еще и заодно сделать такому классу метод чтоб посчитать эту метрику на произвольных данных/пуле
SK
Вообще красота будет
L
Если сделать Pool - можно понять, сколько тратится памяти на дублирование, например, строк
Хорошо сделаю и отпишусь, но видимо в след апдейт, так как тут писали про проблемы с пулом в новом релизе. Поправите?
2021 January 05
ie
Всем привет!
Можете подсказать, как ускортть создание пула из датафрейма с большим кол-вом кат фичей?
При размере выборки около 1кк и кол-ве кат фичей около 600 создание пула занимает какое то дикое время (около 30 минут).
Что с этим можно сделать, как ускорить?
С числовыми фичами при размере выборки в 1кк * 5к проблем не было.
Можете подсказать, как ускортть создание пула из датафрейма с большим кол-вом кат фичей?
При размере выборки около 1кк и кол-ве кат фичей около 600 создание пула занимает какое то дикое время (около 30 минут).
Что с этим можно сделать, как ускорить?
С числовыми фичами при размере выборки в 1кк * 5к проблем не было.
L
Если сделать Pool - можно понять, сколько тратится памяти на дублирование, например, строк
Собрал пул, точно такие же данные выходят, 18-20 гигов памяти сьедает, разницы не увидел
SK
Всем привет!
Можете подсказать, как ускортть создание пула из датафрейма с большим кол-вом кат фичей?
При размере выборки около 1кк и кол-ве кат фичей около 600 создание пула занимает какое то дикое время (около 30 минут).
Что с этим можно сделать, как ускорить?
С числовыми фичами при размере выборки в 1кк * 5к проблем не было.
Можете подсказать, как ускортть создание пула из датафрейма с большим кол-вом кат фичей?
При размере выборки около 1кк и кол-ве кат фичей около 600 создание пула занимает какое то дикое время (около 30 минут).
Что с этим можно сделать, как ускорить?
С числовыми фичами при размере выборки в 1кк * 5к проблем не было.
Прям сейчас для таких случаев лучше читать датасет из файла
SK
В питоне строки под гилом
SK
Многопоточности нет
SK
Собрал пул, точно такие же данные выходят, 18-20 гигов памяти сьедает, разницы не увидел
А если без обучения сколько памяти занимает Pool?
ie
Прям сейчас для таких случаев лучше читать датасет из файла
Большое спасибо, попробую
TB
из грустного про эмбединги) не получается сделать predict_proba с датафреймом, только Pool переваривает
TypeError: Cannot convert obj [-0.5049123167991638,…
d
А в датафрейм реально эмбединги не строкой запихать?
TB
А в датафрейм реально эмбединги не строкой запихать?
а почему нет? норм list заходит
SK
А в датафрейм реально эмбединги не строкой запихать?
Да это переработаем тоже
SK
Эмбеддинги отдельными np.array передвать будет можно
d
Заходит, но я всегда думал, что это строка по сути
Особенно после сохранения и загрузки df
Особенно после сохранения и загрузки df
TB
при загрузке из файла надо чуть магии из ast , но вполне рабочее
TB
Эмбеддинги отдельными np.array передвать будет можно
в смысле отдельно? отдельным параметром? за что их так?
L
А если без обучения сколько памяти занимает Pool?
10 гигов, это много?)