с логом понятно, но я подумал, что возможно существуют тулы под эту задачу, берем лог, обобщаем его через Х, на выходе получаем таблички в которых мышкой накликиваем то что надо и вуаля
Если есть логи, то ElasticSearch или Clickhouse вам поможет )
Увы, сейчас я в другой индустрии совсем. Но подобные проекты делал - и если там заняться проектированием до разработки, то норм. У меня же ощущение, что в разработке Спаркса не участвовал ни один архитектор (в первую очередь - ни один системный архитектор).
Ну, да. Тут можно говорить о связке из PluntUML, neo4j и какого-нибудь lucene Но никто из тех, кому это надо - делать это не будет. Так как для Спаркса важны сейлзы, а не UXеры )
В гугле меня не забанили, но на главной сайта нет ответа на вопрос для чего это нужно... только что «наша программа собирает данные, обрабатывает их и выдаёт на выход новые данные»