Понял, кстати никогда так не делал. Всегда начинал именно с hdri. Может в этом проблема
Потом на всех источниках света ставишь более мягкие тени, чтоб не было этих ужасных твердых граней. Функцию отбрасывания теней оставляешь только для ключевого света (и можешь еще для парочки светильников, если тени получаются фактурные и красивые).