Уже раскурил. У меня просто .env не лежит в git и когда стягивается версия в докер то там нет его, а переменные указываются в docker-compose.yml и прокидываются в контейнер.
В общем я перечитьал доку, на локале нужен dotenv, а при пуше в git его нужно кокомментировать, тогда DRIVER_PATH=os.getenv('DRIVER_PATH') будет барть переменные которые прокинуты из docker-compose.yml