DZ
да
Size: a a a
2021 November 26
SI
Привычки пользователя Gradle, с sbt как билд системой я не часто работаю
SI
но для примера давать Gradle это оверкилл
DZ
да, потому что гредл кусок говна для скалы
SI
вероятно, просто по историческим причинам мы пользуемся Gradle
SI
Я не знаю насколько sbt умеет варить в себе еще Kotlin и Java — умеет?
DZ
Зачем сбт варить котлин и джаву?
A
Ещё что смутило
assemblyMergeStrategy
Зачем это если в jar у вас только ваш код без зависимостей внешних?
То есть в общем случае да, но там нужно смотреть что делать
Но в вашем случае с 2 зависимостями в provided scope это лишь запутает людей
assemblyMergeStrategy
Зачем это если в jar у вас только ваш код без зависимостей внешних?
То есть в общем случае да, но там нужно смотреть что делать
Но в вашем случае с 2 зависимостями в provided scope это лишь запутает людей
A
Ну и там не совсем правильная настройка
Для тех же сервисов spi нужно мерж или дедупликейт, иначе часть вещей не найдёт в рантайме
Для тех же сервисов spi нужно мерж или дедупликейт, иначе часть вещей не найдёт в рантайме
A
Maven libraries
Как нибудь переименовать этот раздел, так как там ничего про мейвен нету, просто перечисление либ и зачем вам нужно писать кастом что-то
Как нибудь переименовать этот раздел, так как там ничего про мейвен нету, просто перечисление либ и зачем вам нужно писать кастом что-то
DZ
в этом случае assembly ваще не надо
A
Они с таким же успехом sbt/gradle/ivy библиотеки
A
Да
DZ
а толку, статья ни о чем и обо всем.
A
В будущем если бы в зависимостях та же deequ была то ещё понятно, а в примере не нужно
DZ
ну там кстати стратегия какая то оч куцая, такое ощущение что пример с so редачили
R
О построении data platform'ы судя по названию, но не совсем, а про взаимодействие питона и джавы, и что партишены не управляются, а ещё есть пара хороших джава библиотек
DZ
а, это деврельская статья. Ну тогда может быть и ок
SI
да, замечания валидные
1. Deequ действительно нет в мавене, мавен там упомянут, скорее, как источник зависимостей.
2. assemble в том конкретно примере не нужен, нужен когда спарк летит в самом жирном джарнике
1. Deequ действительно нет в мавене, мавен там упомянут, скорее, как источник зависимостей.
2. assemble в том конкретно примере не нужен, нужен когда спарк летит в самом жирном джарнике
A
Да, я это и указал
Добавь хадуп либы и либы работы хадупа с s3 и все, сервисы на FileSystem интерфейс отвалится
Или hdfs не найдёт или s3
Добавь хадуп либы и либы работы хадупа с s3 и все, сервисы на FileSystem интерфейс отвалится
Или hdfs не найдёт или s3