Я просто к чему веду. В математике есть много чего, связанного с бесконечностями. В том числе это касается бесконечных периодических дробей вроде той же 1/3. А в реальном мире все конечно. В данном случае ограничена память, ограничены размеры регистров проца и т.п.
Поэтому так или иначе округление происходит и не только на каких-то последних шагах, а всегда. И даже в тех же банках не будут считать тысячные доли. Их округляют, просто делают это так, что банк, как и казино, в проигрыше не остануться