Ну так оно может. Вообще, я абсолютно уверен, что zero-cost ради zero-cost - это очень вредная штука. Народ упарывается и оптимизирует не самые узкие места и потом теряет порядки в действительно важных местах просто потому что компилятор умнее.
Компилятор умнее - это очень спорная позиция.
JIT компиляторы не очень умные сами по себе, т.к. времени у них нет на особо интеллектуальные действия. То есть, да, они собирают статистику исполнения, но её и самому собрать можно.
Не JIT компиляторы тоже очень часто слишком консервативные во многих оптимизациях, где иначе можно было бы обойтись без zero-cost абстракций.
Т.е. знаю случаи, когда вручная установка inline и no inline аннотаций позволяет выигрывать десятки процентов в производительности у компиялтора .
Хотя казалось бы, что инлайны - это то, что компиляторы делают давно и достаточно успешно.