почитал пейпер, что смутило. Они используют всякие танцы с бубном вокруг LR, mixup трейнинг и еще всякие ауги. Где гарантия, что просто вся архитектура не заточена, что б стать топ 1 на imagenet, а в других задачах не будет провала?
Resnest далеко не первый, так как в последнее время активно размножается семейка efficientnet-ов. Вопрос в том, чем остальные архитектуры, которые используют те же трюки вроде mixup, autoaugment не оверфитятся на imagenet? Преимущество resnestов, по их словам, еще в том, что можно просто поменять ResNet backbone на ResNest, который даст прирост в ~3%, на object detection и segmentatino задачах. Но все же, это не отменяте того, что самим нужно тестить все это. Например, иногда большие еффнеты перформят хуже чем маленькие.