Это зависит от того, что вам нужно в конце концов.
Если элемент нужно перетаскивать и дропать куда-нибудь, воспользуйтесь ДрагЭндДроп АПИ
https://developer.mozilla.org/en-US/docs/Web/API/HTML_Drag_and_Drop_APIВ целом, МаусДаун действительно срабатывает только раз. Так он указывает на то, что вы нажали кнопку мыши. МаусАп срабатывает когда вы кнопку мыши отпускаете. Таким образом вы можете создать перетаскивание (скролл пальцем, и т. п.) искусственно из комбинации МаусДаун, МаусМув и МаусАп.