Способ удаления не должен быть привязан к типу указателя под юником. Он должен быть привязан к намерениям программиста в конкретный момент времени. Это как раз проще сделать через шаблон юника, а не через специализацию делитера. Тебе уже на это выше указали
Тогда почему же изначально способ удаления именно что привязан к типу юника? И логично для какого-нибудь сокета, использующегося по всей программе, как раз внести специализацию