это у всех по спарку стоко работы: вычитай оттуда запиши туда, чето застримь кудато вытяни откудато, код на 50 строчек, 0 абстракций и впринципе все работает, или тот же sql парситься через spark-sql ?
На GitHub. Смотрите количество Pull Request где-то с начала прошлого года. И сравните сколько было до этого. Хортон его больше не развивает ибо есть Cloudera Manager со всеми вытекающими.