Если он не сможет открыть порт или порт не прокинут извне или доменное имя не обновилось - он расстроится и не стартанёт конечно
Вот кстати, nginx тоже так себя ведёт по дефолту, проверяет хостнеймы при старте. Но его можно настроить так, что он будет стартовать независимо от доступности проксируемых хостов. А Кадди нет?
А так, конечно, caddy тоже нормальный прокси. Помедленней nginx, но для наших задач это не играет роли.