Ну, вот что узнал:
Liquibase автоконфигурируется таким образом, что пытается получить DataSource. Если мы этот DataSource ему укажем, он возьмет его и создаст обычный SpringLiquibase, который мне и нужен. А если мы не создадим для него DataSource, то он создаст его сам и положит его в DataSourceClosingSpringLiquibase, который и закроет пул после первого использования.