AS
У меня была проблема в том что данных приходило не так много и при записи в паркет с маленьким батчем получалось очень много файлов, но при увеличении батч интервала > 10 минут джоба фейлилась с дичайшим стектрайсом, который никак не мог разобрать, по этому проблему решал костыльно - писал в темповуую директорию, и когда накапливался нужный объем - переписывал по нужному пути...
