Критерий - нарушение частных границ других людей. Границы эти проходят по телу и собственности. Если кто-то своими действиями наносит ущерб или угрожает нанесением ущерба здоровью или имуществу другого субъекта, это нарушает НАП. Карать людей за бездействие нельзя, точно так же как нельзя и отнимать собственность у тех, кто не нарушил НАП ни под каким предлогом.
Всё это и так следует из основных либертарианских принципов и по-моему довольно понятно.
Уверен, далеко не все согласятся