Size: a a a

AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2

2021 April 16

RY

Ruslan515 Y in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
есть таблица с полями id(уникальные значения), id_client(есть повторения), a, b, c, number, typ. нужно на выходе получить таблицу где остаются только уникальные значения id_client, при этом для каждой записи выбирается сначала максимум по полю typ, если таких значений несколько, то выбирается максимальное значение по полю number.
мое решение.
1. df_t = df[["id_client","number","typ"]].groupby("id_client").agg({"number": "max", "typ":"max"}).reset_index()
2. df.merge(df_t).
мерджим по 3м полям "id_client","number","typ". подойдет ли такое решение?
источник

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Переслано от live to fight
Привет всем, возник вопрос, что можно сделать с такими данными, эпидсезон начинается с 40-41 до конца года, 52 недели + еще примерно 20 недель нового года и таких таблиц за три года есть (в идеале получить предикт на последние недели эпидсезонаисходя из первых - общее кол-во заболевших. Читал за Seasonal ARIMA и метод  Холта-Винтерса), но интересно даже в познавательных целях что можно почерпнуть с этого сета, спасибо за любые мысли.
источник

D•

Dan • Captain in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
@bound_soul у нас бот злой иногда :)
источник

l

live to fight in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
спасибо)
источник

VB

Valentin Bryukhanov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
a agg разве словарь принимает? Если помнится по докам писалось делать agg(**{'name': 'func', 'name2': 'func3'}) . Дикт он же не упорядоченный (ну если не 3.6+) и может выйти сюрприз.
источник

VB

Valentin Bryukhanov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
вот с доков
Note For Python 3.5 and earlier, the order of **kwargs in a functions was not preserved. This means that the output column ordering would not be consistent. To ensure consistent ordering, the keys (and so output columns) will always be sorted for Python 3.5.
источник

RY

Ruslan515 Y in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
df.sort_values(["typ", "number"]).groupby("id_client").last() а такое пойдет? сортируем сначала по полю typ, затем по number по убыванию и берем последние значения - это максимумы по данным целевым полям?
источник

VB

Valentin Bryukhanov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
а да, можно и дикт подавать просто в agg, но почему бы просто не сделать аля agg(number='max', typ='max)
источник

RY

Ruslan515 Y in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
вот я сомневаюсь, говорят что просто выбирает максимум по 2 полям
источник

VB

Valentin Bryukhanov in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Может тогда сгрупировать сначала по двум полям и аггрегировать по 3ему, потом сгрупировать по одному и аггрегация по второму? Если что я по пандас не профи 😊 Питонщик со стажем но ДС только учусь. Так что мои сообщения как размышление, а не руководство к действию
источник
2021 April 17

I

Ingvar in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Есть сеть, которая предсказывает класс объекта и рисует вокруг него коробку. На даный момент поставил mse на координаты коробки и кросс энтропию на класссификацию. Режу выходной тензор на "коробочный" и "классификационный", считаю лоссы и складываю, предварительно помножив один из них на коэффициент.
Модель уж больно много внимания обращает на один из лоссов, как их сбалансировать?
источник

I

Ingvar in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Т.е. может быть 99% точности, но miou - 50, например
источник

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
miou обычно в подобных пределах. Сегментация сложнее классификации.
источник

I

Ingvar in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Т.е. балансирование этих лоссов, скорее всего, не приведет к улучшению miou?
источник

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
источник

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
можете посмотреть результаты других сеток, которые есть в натренированном виде в торче.
источник

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
смотрите раздел сегментация
источник

I

Ingvar in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Спасибо
источник

I

Ilya in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Можно подобрать гипер параметры под лоссы или даже сделать подобные тоже обучаемыми параметрами, просто не ожидайте супер скачков.
источник

I

Ingvar in AI / Big Data / Machine Learning 👮‍♂️ Protected by R2D2
Хм
источник