а по хорошему посмотри депенденси граф (правильное решение); может твоей депенсе нужна особая вресия джексона (старше / младше).
тут org.json4s:json4s-jackson_2.11:jar:3.2.11:compile используется внутри org.apache.spark:spark-core_2.11:jar:2.3.0:compile который в свою очередь внутри org.apache.spark:spark-sql_2.11:jar:2.3.0:compile