ИБ
то есть не нейронка придумывает нейронку, а алгоритм её придумывает (скорее эффективно выбирает)
Size: a a a
2019 December 18
JS
ну все равно движуха в эту сторону )
SD
K-S через два дня: "Чо кто-нибудь ещё Африку решает?"
😂
DR
Господа-питонисты, а не подскажете, как ускорить на питоне следующую строчку кода:
df[‘new_var’] = df.groupby(‘id’)[‘var1’].transform(lambda x: x.rolling(window=100).mean())
Задача - считать скользящее среднее внутри каждого уникального значения переменной ‘id’
Заранее благодарю
df[‘new_var’] = df.groupby(‘id’)[‘var1’].transform(lambda x: x.rolling(window=100).mean())
Задача - считать скользящее среднее внутри каждого уникального значения переменной ‘id’
Заранее благодарю
вроде это и без transform работать должно, а transform сильно усложняет вычисления
DR
Господа-питонисты, а не подскажете, как ускорить на питоне следующую строчку кода:
df[‘new_var’] = df.groupby(‘id’)[‘var1’].transform(lambda x: x.rolling(window=100).mean())
Задача - считать скользящее среднее внутри каждого уникального значения переменной ‘id’
Заранее благодарю
df[‘new_var’] = df.groupby(‘id’)[‘var1’].transform(lambda x: x.rolling(window=100).mean())
Задача - считать скользящее среднее внутри каждого уникального значения переменной ‘id’
Заранее благодарю
в смысле groupby.rolling(...) возвращает весь датафрейм
ДС
Шта? Они не додумались просто прописать путь к файлам? И этот «косяк» после двух недель проверки? П**дец, я умываю руки. Чтоб ещё раз я когда-нибудь там участвовал
Наш код они пытаются запустить на колабе, перепихав все импорты. И что-то у них тоже не работает.
om
А Бут, кажется, лёнинг
K
Наш код они пытаются запустить на колабе, перепихав все импорты. И что-то у них тоже не работает.
Я им даже предлагал просто расшарить с ними ноутбуки, но они отказались
K
Мне интереснее, что все эти «косяки» начали вылазить после финализации лидерборда. Чем они там две с половиной недели занимались?
JS
слушайте, о великомудрые повелители нейронок (и нейронов), в случае деревянной регрессионной модели можно построить доверительный интервал для предсказания? можете толкнуть в сторону нужного направления? это, случайно, не мин. и макс. величины целевой переменной в конкретном листе для наблюдения, на котором делаем предикт?
JS
ну в смысле не мин и макс, а 0.025 и 0.975 перцентили
ST
слушайте, о великомудрые повелители нейронок (и нейронов), в случае деревянной регрессионной модели можно построить доверительный интервал для предсказания? можете толкнуть в сторону нужного направления? это, случайно, не мин. и макс. величины целевой переменной в конкретном листе для наблюдения, на котором делаем предикт?
можно с помощью бутстрепных выборок, на каждой строишь модель и получаешь ряд, откуда берешь интервал нужный
JS
ага, то есть процедура такая - подобрали гиперпараметры, далее генерим бутстрепом выборки и с теми же параметрами строим модель по полной бутстреп-выборке, повторяем для каждой, и из предиктов получаем доверительный интервал, так?
JS
можно с помощью бутстрепных выборок, на каждой строишь модель и получаешь ряд, откуда берешь интервал нужный
благодарствую за науку!
ST
ага, то есть процедура такая - подобрали гиперпараметры, далее генерим бутстрепом выборки и с теми же параметрами строим модель по полной бутстреп-выборке, повторяем для каждой, и из предиктов получаем доверительный интервал, так?
ага
JS
ты же обещал нейронки постить?
ДС
Если нужно для тестовой выборки построить интервалы, то можно использовать что-то в духе RepeatedKFold. А дальше уже квантили считать для каждой точки. Но это дорого, надо фитить много моделей (сколько достаточно, 100?). Проще доверительный интервал строить для метрики - считать скоры на бутстрапированной выборке предсказаний и таргета.
om
K
слушайте, о великомудрые повелители нейронок (и нейронов), в случае деревянной регрессионной модели можно построить доверительный интервал для предсказания? можете толкнуть в сторону нужного направления? это, случайно, не мин. и макс. величины целевой переменной в конкретном листе для наблюдения, на котором делаем предикт?
Видел ещё примеры использования нескольких квантильных регрессий для этой цели
JS
Если нужно для тестовой выборки построить интервалы, то можно использовать что-то в духе RepeatedKFold. А дальше уже квантили считать для каждой точки. Но это дорого, надо фитить много моделей (сколько достаточно, 100?). Проще доверительный интервал строить для метрики - считать скоры на бутстрапированной выборке предсказаний и таргета.
туплю и стыжусь, но спрошу - это значит берем тест, генерим из него бутстрепом кучу выборок и предиктим, и потом дов. интервал для метрики (допустим rmse), и уже от нее - можно сделать разброс конкретного предсказания, так? мозг говорит что я не так все понял