Потому что данные читаются как байтовые строки, и не происходит валидации utf-8, как для str?
В доках к крейту serde_bytes написано "Without specialization, Rust forces Serde to treat &[u8] just like any other slice and Vec<u8> just like any other vector. In reality this particular slice and vector can often be serialized and deserialized in a more efficient, compact representation in many formats.", так что за ответом, видимо, нужно внутрь bincode смотреть, а не самого serde
