Рендерю энкодером только по многу секвенций из премьера, когда их реально много.
Из афтера - афтеркодекс, не глючит и в h.264 и в прорес. Возможно, у тебя стоит какая-то древнейшая версия или еще какая кривая. Ни разу не пробовал кидать из афтера в энкодер вообще)