Sqlx не драйвер вовсе, а обёртка для пакета sql, который тоже не драйвер, следовательно sqlx может быть заюзан с pgx например.
А суть sqlx это пара методов для удобного скана, чтобы не писать одно и то же про перебор строк результата... Как оно может тормозить чуть более чем какой-нибудь орм, неясно