Я использую альпайн, в качестве базового образа для всех контейнеров. Включая питоны.
Собирается всё быстро: рядом с CI работает devpi со всеми необходимыми колёсами. Скорость работы питона не замерял, но субъективно, при переезде с дебиан-слима разницы не заметили.
Всё работает как часы. Не читайте советских газет и странных статей.
Пользовал алпайн как первый базовый образ. Тоже оправдывал необходимость всё компилять самому и складывать в приватный PyPi, тем что "образ маленький", пакеты ставятся быстро и др. Но потом узнал что питон реально медленнее работает под алпайном. И кажется ещё какая-то загвоздка была, уже не помню. Это стало последней каплей и перешёл на Ubuntu. Там ни каких проблем с питоном и всем остальным - комьюнити большое, можно найти все ответы.