генерируемые лог файлы можно анализировать какой-нибудь тулой типа splunk.
Либо использовать самописные парсер-штуки, но хотелось бы не файлы перебирать, а чтобы было по человечески, чтобы можно было в crm выводить и хранить все в бд, например. Одна из проблем записи в файлы, к примеру, это то, что если отваливается вдруг приложение что принимает последовательности битов и делает очереди и пишет потом в файл-то мы слепнем.