ну например у тебя есть обработчик отслеживающий клик по какому то элементу, который ты повесил на боди. Элемент потом удалил, а обработчик на клик остался. Т.е. при каждом клике у тебя будет вызываться обработчик. А если таких лисенеров будет дофига, получишь тормоза на странице
а если обработчики привязывать не к общим элементам на странице (document, window, body), а к частным (какой-то класс или id)... стоит ли их удалять?