EM
ты любой чих считаешь за полезную идею?
Нет, но мне нравится твоя манера беседы - задавать дурацкие вопросы никак не связанные с моими словами
Size: a a a
2017 November 13
YB
хорошо, буду более конкретно отвечать. виноват.
EM
Просто как то выматывает. Я что то написал, и тут ты такой, прищурившись, задаешь наводящий вопрос))
EM
получается диалог слепого с глухим)
YB
ок-ок, давай сосредоточимся на каком-то конкретном вопросе, на который я отвечу.
YB
>Но в остальных-то девяти тоже были какие то интерерсные идеи, почему о них никто не вспоминает?
потому что идеи может и интересные, но средняя ценность их на мой взгляд низкая.
большинство идей — просто оптимизация архитектуры под задачу, результат метода проб и ошибок, а не инсайты.
потому что идеи может и интересные, но средняя ценность их на мой взгляд низкая.
большинство идей — просто оптимизация архитектуры под задачу, результат метода проб и ошибок, а не инсайты.
EM
Вопрос был в СОТА. Получается, ресерч превратился в соревновательный дата саенс. Вот представь, пишет Эйнштейн Е=мс^2. И тут ему: а давай протестим на миллионах соединений, точно ли это, а то вот тут предлагают костыль к твоей формуле, так он точность на 0,01% лучше дает на углероде
EM
А ведь какая нить "He" инициализация весов - это тот самый костыль и есть
YB
вот на мой взгляд как раз не превратился ресёрч в соревновательный дата-саенс.
да, SOTA — критерий ценности, но это не значит, что уменьшение точности на 1% снижает ценность реализации до нуля.
да, SOTA — критерий ценности, но это не значит, что уменьшение точности на 1% снижает ценность реализации до нуля.
EZ
Вопрос был в СОТА. Получается, ресерч превратился в соревновательный дата саенс. Вот представь, пишет Эйнштейн Е=мс^2. И тут ему: а давай протестим на миллионах соединений, точно ли это, а то вот тут предлагают костыль к твоей формуле, так он точность на 0,01% лучше дает на углероде
это мы еще вопрос reproducibility не подняли
YB
наоборот, скорее, все понимают, что E=mc^2+q(m) при малом q — не сильно отличается от E=mc^2 и примерно ему эквивалентен, и мы не можем даже, если вспомним физику и рассчёт ошибок измерения, отличить одну формулу от другой на практике.
YB
это мы еще вопрос reproducibility не подняли
вопрос reproducibility опять же становится важным только если считать выигрыш 0.01% точности как "100% ценности данной реализации и 0% остальных"
YB
вопрос reproducibility опять же становится важным только если считать выигрыш 0.01% точности как "100% ценности данной реализации и 0% остальных"
а иначе (если важно не относительное лидерство в SOTA, а абсолютная точность, то) , скорее, похожие работы с похожей точностью помогают подтвердить точность друг друга.
YB
"помогают подтвердить точность друг друга" — опять же как различные измерения одной и той же величины в физике помогают точнее оценить правильность формулы и оценить распределение ошибки этих измерений.
YB
так что и я как раз против того, чтобы считать преимущества модели капсюлей в CIFAR существенными (на основании SOTA). более того, объясняю, что ошибка измерений точности в данной модели достаточно высокая.
EM
Ну почему же. Здесь мы вступаем в область споров о том, что является стопудовой валидацией. Они на мнисте тренились, а на аффнисте тестили, увидели прирост. Доказательство? Навряд ли. Evidence? Пожалуй да
EZ
вопрос reproducibility опять же становится важным только если считать выигрыш 0.01% точности как "100% ценности данной реализации и 0% остальных"
ну то есть если чуваки пропихивают в топ конференции методы которые не работают, это норм?
YB
Ну почему же. Здесь мы вступаем в область споров о том, что является стопудовой валидацией. Они на мнисте тренились, а на аффнисте тестили, увидели прирост. Доказательство? Навряд ли. Evidence? Пожалуй да
А, видимо, это сообщение я неправильно прочитал. Я не помню этот момент в работе: они сравнивали это с другими моделями, которые тренировались на аффнете?
YB
ну то есть если чуваки пропихивают в топ конференции методы которые не работают, это норм?
Не норм, ибо вносит "шум измерений ценности идей"
EZ
или если например метод работает только на очень маленьком интервале гиперпараметров, который в статье не указан, но при этом дает SoTA на этом единственном наборе параметров и единственном датасете