JS
в спарс-матрицу?
Size: a a a
2019 December 18
ИБ
у нас на компах по 8 гб. не хватает. а данные пока маленькие. в связи с чем тормозит. нужно искать решение. подсказали spark, hadoop & desk
если возможно логически разбить датасет на части, и на данном этапе нужен research, то лучше взять кусок данных и поработать в пандасе.
Если тот же алгоритм не заработает на всех данных (например на каком нибудь AWS серваке с большим количеством оперативки) то переписать под spark
Если тот же алгоритм не заработает на всех данных (например на каком нибудь AWS серваке с большим количеством оперативки) то переписать под spark
ИБ
spark, скорее всего, отработает, и на 8 Гб
JS
все данные нужны для изменений. и таблица очень сильно разряженная - тогда какие могут быть пути решения?
если разряженные данные - то в sparse-матрицу все пихай, памяти меньше съест
RY
в спарс-матрицу?
а как скомбинировать спарс и датафрейм(удобно использовать имена столбцов и индексы)
JS
а как скомбинировать спарс и датафрейм(удобно использовать имена столбцов и индексы)
да там не сильно сложнее то все будет, имхо...
RY
да там не сильно сложнее то все будет, имхо...
ок. гляну
JS
по опыту в спарс-матрицу "обычные" фичи из df без проблем добавлял
K
Господа-питонисты, а не подскажете, как ускорить на питоне следующую строчку кода:
df[‘new_var’] = df.groupby(‘id’)[‘var1’].transform(lambda x: x.rolling(window=100).mean())
Задача - считать скользящее среднее внутри каждого уникального значения переменной ‘id’
Заранее благодарю
df[‘new_var’] = df.groupby(‘id’)[‘var1’].transform(lambda x: x.rolling(window=100).mean())
Задача - считать скользящее среднее внутри каждого уникального значения переменной ‘id’
Заранее благодарю
JS
Господа-питонисты, а не подскажете, как ускорить на питоне следующую строчку кода:
df[‘new_var’] = df.groupby(‘id’)[‘var1’].transform(lambda x: x.rolling(window=100).mean())
Задача - считать скользящее среднее внутри каждого уникального значения переменной ‘id’
Заранее благодарю
df[‘new_var’] = df.groupby(‘id’)[‘var1’].transform(lambda x: x.rolling(window=100).mean())
Задача - считать скользящее среднее внутри каждого уникального значения переменной ‘id’
Заранее благодарю
ежли б спросил господинов R-щиков, я б ответил - через future.apply
K
Я R теперь ещё хуже помню :с не притрагивался год точно
ИБ
Господа-питонисты, а не подскажете, как ускорить на питоне следующую строчку кода:
df[‘new_var’] = df.groupby(‘id’)[‘var1’].transform(lambda x: x.rolling(window=100).mean())
Задача - считать скользящее среднее внутри каждого уникального значения переменной ‘id’
Заранее благодарю
df[‘new_var’] = df.groupby(‘id’)[‘var1’].transform(lambda x: x.rolling(window=100).mean())
Задача - считать скользящее среднее внутри каждого уникального значения переменной ‘id’
Заранее благодарю
догадываюсь что лежит в поле id и какие варианты у поля var1 ))
K
догадываюсь что лежит в поле id и какие варианты у поля var1 ))
id - это кат фича, val1 - numeric
ИБ
я про то, что похоже что id это userid, а var1 - это field[0-30]
K
Ахааа, нет)
ИБ
чОрт
K
Это я для другого соревнования)))0)
PM
Ахааа, нет)
байтит)))
K
Господа-питонисты, а не подскажете, как ускорить на питоне следующую строчку кода:
df[‘new_var’] = df.groupby(‘id’)[‘var1’].transform(lambda x: x.rolling(window=100).mean())
Задача - считать скользящее среднее внутри каждого уникального значения переменной ‘id’
Заранее благодарю
df[‘new_var’] = df.groupby(‘id’)[‘var1’].transform(lambda x: x.rolling(window=100).mean())
Задача - считать скользящее среднее внутри каждого уникального значения переменной ‘id’
Заранее благодарю
Я так по-кривому ещё во вроде считал фичи. Только там ещё хуже, надо было time-window юзать, а для них time нужно делать индексом