или если например метод работает только на очень маленьком интервале гиперпараметров, который в статье не указан, но при этом дает SoTA на этом единственном наборе параметров и единственном датасете
это проблема только если ценность победы считать за 100% а ценность второго места за 0.
Если вы не считаете проблемой что куча статей делает заявления не имеющие ничего общего с реальностью и предлагают методы которые не работают ни на чем кроме единственного примера, то я пожалуй пойду
Потому что иначе анализ идей работы расставит всё на свои места. Нельзя оценивать всю систему одним параметром. Даже если в определенном контексте этот параметр позволяет оценить качество системы.
Если вы не считаете проблемой что куча статей делает заявления не имеющие ничего общего с реальностью и предлагают методы которые не работают ни на чем кроме единственного примера, то я пожалуй пойду
Это усложнение работы для инженерии и мерянья письками, но проблемой я это не считаю.
Вообще, спорный вопрос, согласен, иначе мы придём к вопросу о ценности опыта учёных, что не совсем корректный вопрос уже, ведь именно учёные как класс двигают науку.