У меня на работе на сервере где текущая деятельность работа с данными (базы данных и таблицы) возможна только через spark2-shell, в котором можно работать со scala, какие материалы порекомендуете, чтобы я смог разобраться в этих инструментах, сейчас худо-бедно могу работать через spark.sql() и по чужим примерам