A
Понял, спасибо. Из оригинальной статьи совсем непонятно было
Size: a a a
2017 April 14
YB
сложность всегда в том, как эффективно на железо алгоритм развернуть. можно получить до 10 раз разгон или падение производительности.
YB
и просто элементарными умножениями там поэтому нельзя считать
YB
нужно весь пайплайн оценивать и оптимизировать
A
Выходит, авторы статьи про инсепшн слегка приукрасили, что при уменьшении количества весов в (9+9)/25 раз при переходе от 5х5 сверток к двум 3х3 сверткам вычислений делается ровно в (9+9)/25 меньше? Ведь сама по себе векторизация будет работать с любыми свертками.
YB
Тут недавно была красивая картинка со сравнением вычислительной сложности сетей
A
Я видел
A
Если это та, которая с кружочками
YB
ага. я не знаю, как они её строили — по реальному времени на железе или по рассчётам времени вычисления
YB
но для 3x3 есть более быстрые кернелы чем для 5х5, в этом смысл.
YB
иногда даже 3х3 на 3х1+1x3 разбивают, качество близко а скорость ещё выше.
A
Это я понимаю, как и профиты от использования сверток 1х1. Дам ссылку на этот чатик автору вопроса
YB
я там кратенько описал и ссылку приложил на статьи на сайте нерваны
NK
привет ребята
NK
спасибо за ответы на вк
NK
но я все-таки не совсем убежден что в статье про inception имели ввиду факторизацию матриц
NK
там упоминается reuse of activations, и даются конкретные числа 18/25
NK
вы можете показать почему количество активаций соответсвует количеству весов, на конкретном примере перехода с 5х5 к двум уровням 3х3?
EZ
ID:347198853
вы можете показать почему количество активаций соответсвует количеству весов, на конкретном примере перехода с 5х5 к двум уровням 3х3?
Веса общие может?