Без serde ему придётся писать под каждый формат отдельный сериализатор. Естественно, по факту сериализатор будет только под, скажем, JSON, и потом ты захочешь прочитать конфиг из TOML и всё сломается.
Не знаю, у меня обычно это всегда кастомщина, и почти все что есть по дефалту приходится перебивать кастом сериализаторами