Больше всего времени занимает установка зависимостей для тестов. Как это оптимизировать и при этом не увеличить размер базового образа( этап сборки тестового образа идёт после создания базового и нельзя его закэшировать)
Если каждый раз идёт установка зависимостей, то возможно неправильно составлен dockerfile. В отрыве от специфики проекта, идеально, когда при билде добавляется только исходный код, а остальное берется из кэша. В том числе и установленные зависимости. Гуглите лучшие практики.