Разобрался? Если ты пытаешься подключиться mosquitto_sub, в интернетах пишут, что такое может происходить, когда клиенту не подсунули CA Certificate:
https://www.eclipse.org/lists/mosquitto-dev/msg00187.html Если попробовать какой-нибудь MQTT.fx или клиент для андроид, должно работать без бубна, т.к. эти клиенты берут CA сертификат из операционной системы.
В конфиге mosquitto прописаны все три строчки, в логах при старте ошибок нет?
cafile
certfile
keyfile