Решился. По инструкции предлагает распаковать в папку dotnet. Но эта папка у меня уже была и dotnet там тоже был, но agentdvr с ним не запускался. Поэтому создал папку dotnetnew, распаковал туда + в переменных path и root которые там требуется по инструкции прописать тоже в пути указал новую папку.