тот же движок в ktor для ios, он вообще маленький и поддерживает ssl, там просто используется багатство darwin
а на линукс, как раз openssl это по сути стандарт (другие десктоп таргеты тоже не должно быть проблем поддержать)
даже netty советует использовать jni + openssl/boringssl вместо jdk имплементации, потому что быстрее)