ну по ЖЦ кнопка сначала становится видимой, и потом только доступной для взаимодействия с юзером. только в приложении жто быстро происходит. а у тебя по сути эмуляция ЖЦ идёт, поэтому и есть задержка
https://career.habr.com/companies/surf компания, занимающаяся разработкой они активно flutter продвигают, выступают часто на конфах, у них приличный практический опыт