АМ
А кто-то тестировал активации кроме софтмакса для мультиклассовой классификации? Были какие-нибудь работы по другим способам нормировки?
Multilabel + threshes
Size: a a a
2020 April 06
АМ
Тобишь сигмоида
АМ
А кто-то тестировал активации кроме софтмакса для мультиклассовой классификации? Были какие-нибудь работы по другим способам нормировки?
Скину тебе в лс статью
ДС
Это в контексте ARC. Там входящие цвета кодируются OHE. И не может быть больше 1 цвета у пикселя. Но мне по ряду причин софтмакс доставляет неудобства.
Тут нужна нормировка, чтобы учитывался 1 цвет у пикселя.
Тут нужна нормировка, чтобы учитывался 1 цвет у пикселя.
ДС
Можно и не OHE кодировать, конечно. Но это другой разговор.
ИБ
Можно softmax убрать и просто лосс по softmax считать, а на выходе нейронки оставить logist.
ДС
Можно softmax убрать и просто лосс по softmax считать, а на выходе нейронки оставить logist.
https://www.kaggle.com/teddykoker/training-cellular-automata-part-ii-learning-tasks
Вот глянь контекст. У меня примерно для тех же нужд. Хочется, чтобы инпут и аутпут модели находился в одинаковых диапазонах. И чтобы можно было инпут и аутпут складывать, например. После чего опять использовать нормировку.
Вот глянь контекст. У меня примерно для тех же нужд. Хочется, чтобы инпут и аутпут модели находился в одинаковых диапазонах. И чтобы можно было инпут и аутпут складывать, например. После чего опять использовать нормировку.
ДС
Можно, конечно инпут с 0 / 1 перевести в -10, 10, чтобы софтмакс на них возвращал 0, 1. Но это работает не очень. Вот думаю, какие еще есть варианты.
ДС
Аналагичная проблема в pix2pix ганах возникает, когда мы из бинарной маски предиктим бинарную маску. И использование tanh не подходит. Я там применял softmax и его результат растягивал в нужный диапазон (-1, 1). Но кажется, должны быть способы лучше.
EZ
Можно, конечно инпут с 0 / 1 перевести в -10, 10, чтобы софтмакс на них возвращал 0, 1. Но это работает не очень. Вот думаю, какие еще есть варианты.
Не понял, у тебя инпут 0-1 и аутпут 0-1 (после софтмакса)
EZ
В чем проблема
ДС
В чем проблема
Предположим, я хочу сделать операцию identity. Тогда подаем 0 / 1. На выходе 0 / 1. После софтмакса 0.6 и 0.05. Или хочется уметь к изображению добавлять результат модели. Выйдет 0 / 1 + -10 / 10.
EZ
Предположим, я хочу сделать операцию identity. Тогда подаем 0 / 1. На выходе 0 / 1. После софтмакса 0.6 и 0.05. Или хочется уметь к изображению добавлять результат модели. Выйдет 0 / 1 + -10 / 10.
Ну ты независимо от трансформаций мне кажется не можешь делать часть операций с аутпутом который надо скейлить (сетка) а часть не надо (identity)
ДС
Если нормировать на сумму, то проблема с отрицательными значениями.
ДС
Ну ты независимо от трансформаций мне кажется не можешь делать часть операций с аутпутом который надо скейлить (сетка) а часть не надо (identity)
Может скейл действительно единственный вариант. Лан, еще попробую всякое.
EZ
Может скейл действительно единственный вариант. Лан, еще попробую всякое.
Ну ты можешь просто не софтмаксить такие трансформации не?
ДС
Ну ты можешь просто не софтмаксить такие трансформации не?
С суммой не выйдет. Если я хочу сравнивать с истинным значением в духе адверсериал лосса на каждом шаге. Вообще, все эти проблемы возникают из-за способа представления данных.
EZ
С суммой не выйдет. Если я хочу сравнивать с истинным значением в духе адверсериал лосса на каждом шаге. Вообще, все эти проблемы возникают из-за способа представления данных.
Ну дело в том что функции распределения нельзя складывать
ДС
Ну дело в том что функции распределения нельзя складывать
Вот у меня была картинка
1 1
1 1
Сетка предсказала добавку
0 1
1 2
На выходе
1 2
2 3
Такой сценарий получится провернуть, если числа закодированы в OHE? Если не требовать, чтобы добавку можно было представить в числах. То (input + output).softmax() должен работать.
1 1
1 1
Сетка предсказала добавку
0 1
1 2
На выходе
1 2
2 3
Такой сценарий получится провернуть, если числа закодированы в OHE? Если не требовать, чтобы добавку можно было представить в числах. То (input + output).softmax() должен работать.
EZ
Вот у меня была картинка
1 1
1 1
Сетка предсказала добавку
0 1
1 2
На выходе
1 2
2 3
Такой сценарий получится провернуть, если числа закодированы в OHE? Если не требовать, чтобы добавку можно было представить в числах. То (input + output).softmax() должен работать.
1 1
1 1
Сетка предсказала добавку
0 1
1 2
На выходе
1 2
2 3
Такой сценарий получится провернуть, если числа закодированы в OHE? Если не требовать, чтобы добавку можно было представить в числах. То (input + output).softmax() должен работать.
Ну ОНЕ как раз предназначен чтобы аддитивность убрать