Могу предположить, что wheel в принципе нельзя собрать с исходниками бинарников, поэтому авторы делающие wheel просто вынуждены делать бинарные сборки.
Я имею ввиду не интерпретатор, а именно стандартную сборку, которую поддерживают много компаний/команд, а не просто куча открытых либ, которые не понятно, как развиваются. Чтобы поставил и знал, что на этом можно спокойно и безопасно кодить