Вообще, это может быть интересно. По крайней мере года четыре назад, это была целая проблема, потому что самые интересные вещи делались с помощью udf (user defined functions), но их надо было либо писать на питоне, что тормозило процесс, либо на скале. Скала, конечно крутая, но учить ещё один язык было не очень интересно.
Так что использовать Julia в промежуточных вычислениях было бы интересно. Правда там сразу миллион вопросов возникает (а как библиотеки доставляются, а что там с прекомпиляцией и т.п.)... Ну и где-то недавно я читал, что вроде бы использовать питон для udf сейчас уже не такая большая проблема, но не помню почему.
там суть проблемы в том, что если использовать JVM, то копирование классов по кластеру будет сделано автоматически. Любые не JVM-языки - это проблема с тем, кто будет копировать этот код. Если делать нашлёпки, то будут потери времени. Оптимальный вариант - это полная реализация на Julia и, если надо что-то вызвать из Java, то именно с активацией кода Julia из Java