Если энергия не сохраняется, то в квантовой механике уравнение фон-Неймана меняется на уравнение Линдблада. Это можно считать обобщением гамильтонова подхода, так как генератор эволюции во времени теперь не гамильтониан, а оператор Лиувилля (гамильтониан его часть). С другой стороны, можно определить гамильтониан как что угодно, задающее эволюцию, хотя так и не делают. Ну и в классике должно быть что-то похожее, не зря же оператор Лиувилля.