ну да, для многословности можно test-path добавить... но тут на вкус. Мне кажется проверка вне командлета тут не имеет смысла. Результат всегда должен быть "файл отсутствует", так чего сопли разводить и условия проверять?
Я бы еще понял если бы наличие файла на что-то влияло, и ты если нашел, кроме удаления еще лог бы писал "был найден файл такойто и удалён".