для stride=1 не знаю, что делают, надо смотреть.

Так именно там stride=1

вот верхний в списке на картинке от Andrey -- conv 3x3/2 , input size=299x299x3 -- это как раз оно. самая большая конволюция.

да, но их обьяснения используют stride=1

и в статье про метод винограда тоже

а, там на выходе получается не 1х1 точка, а 2х2 тайл сразу. т.е. этот страйд это не страйд самой конволюции, а лишь шаг для вычисления.

"To understand the speedup from using Winograd over direct convolution, let’s consider an example. With a filter size of 3×3, the number of FMA (fused multiply-accumulate) operations to compute one output element with direct convolution is 9, exactly one per filter element. With the 2×2 Winograd transform considered here, a 2×2 block of output pixels is computed in one shot. This requires working on a 4×4 block of inputs (given by the “field of view” of the outputs), and transforming the filter to 4×4 as well. The number of FMA operations in multiplying the transformed inputs with the transformed filter is 16. Since this gives us 4 outputs in one shot, the FMAs per output are 4. Compared to the 9 for direct convolution, this represents an algorithmic speedup of 2.25."

"If we compute a 4×4 output block at once, we work on a 6×6 block of inputs, and a transformed filter of 6×6. This requires 36 FMA operations, or 36/16 per input."

а вот для FFT Convolutions график ускорения:

не знаю, я все ещё не пойму как они увеличили число операций в Inception разложив 7х7 фильтры на 3 уровня 3х3

параметров стало меньше, а рецептивное поле такое же осталось

BatchNorm и активационные функции стали больше отъедать так как слоёв больше стало да и вообще неизвестно что они там еще поменяли

Evgeny, нет, там в таблице 7х7 to 3х3 factorization в первом слое это единственное изменение в модели. Все другие изменения они подсчитывают тоже, отдельно

и количество операций возрастает на 20%: от 3.8Б до 4.8Б

а дай ссылку с исходной цитатой

мне кажется, 3 х 3x3 должно быть сравнимо с 7x7 если 7x7 через FFT, а 3х3 через винограда.

на 20% количество операций суммарно возрастает, а не на первом слое. и они не упоминают cudnn, хотя тогда cudnn v3 уже был.

>как они увеличили число операций в Inception разложив 7х7 фильтры на 3 уровня 3х3
Наоборот, написано, что с первым слоем 7х7 на 20% больше операций во всей сети.