bt709 цветовая матрица. Я не совсем понимаю, как они применяются, но я предполагаю, что это форма таблицы поиска. С помощью ffmpeg вы можете конвертировать матрицы разных цветов с помощью фильтра colormatrix.
Возможно, я в чем то ошибся, но закодировать в bt709 так и не смог, гуглежь и яндежь не дали результатов. Yuv420p ставит по дефолту и все тут, на выходе у нас rec.601, ограниченная матрица цветов, в которой уже диапазон. Попробую, про фильтр этот почитаю. Кстати, что любопытно, с теми же самыми параметрами если рендерю через kdEnlive, видео получается в vp9 нормально. Не белесое. Видимо, он как то конвертирует цвета правильно.