N
А это вообще нормально - пользоваться зио внутри спарк джобы? Они нормально будут делить ресурсы?
Size: a a a
2021 July 12
GP
можно и внутри и снаружи (как раз вон пробелмы спарк сессии везде сувать - можно и зивой)
GP
внутри если - то это уже в конце вычисления спарка, имеет если что-то на хеви ио подвязано и есть много спу
GP
типо надо много мелких штук записать в s3 / кассандру - можно обрадовать одменов последней паралельным анфолдингом партиций прям в кассандру
GP
ну а первую не надо одменить но она может прогнуться под гнетом запросов (ретраи с бекофом()
EK
1) это надо не забыть сделать
2) класс не может иметь поля, которые по жизни несериализуемые. Получается, я должен группировать сущности не по назначению, а по тому, нравятся ли они спарку. Зачем тогда классы и все это оофп.
2) класс не может иметь поля, которые по жизни несериализуемые. Получается, я должен группировать сущности не по назначению, а по тому, нравятся ли они спарку. Зачем тогда классы и все это оофп.
N
Снаружи да, мы пользовались. А про внутри интересно
GP
у меня fs2 внтри
GP
кстати очень быстро работает
GP
но можно и на фучах если прагматично совсем хочется
GP
первый аргумент какойто не аргумент) а второй так и есть
но если это класс то надо или бай нейм такое делать или транзиентом помечать и не сериализовывать
но если это класс то надо или бай нейм такое делать или транзиентом помечать и не сериализовывать
GP
так что не надо ничего группировать по тому как оно спарку нравится не нравится
EK
Это аргумент для тех, кто привык к статической типизации. А про transient - да, хорошая идея.
GP
я привык к статической типизации) ничего не вижу сложного в наследовании сериалайзабла
GP
но можно и не наследовать сериалайзабл тогда крио сериализатор и так справится
GP
ну если не справится можно помочь
EK
Все эти ошибки возникают обычно во время рефакторинга, который перестаёт быть fearless
GP
во время рефакторинга чего только не бывает
GP
спарк тут не причем
GP
я только сейчас вижу попытки оправдать убогость кода 90% спарко разрабов