@workales глаз зацепился что под спарк на java пишите, с чем принято такое решение?

обоснуй почему плохо писать на жабе. только нормально так обоснуй, без вкусовщины, пожалуйста.

Не :) я то против ничего не имею, сам java предпочитаю, её и профилировать проще. Но по опыту пользователи спарка чаще выбирают scala, вот и стали интересны предпосылки

не только профилировать, но и поддерживать существенно проще, особенно когда несколько человек пишет модуль на протяжении нескольких лет. жаба тупо читаемее.

а что вы профилируете на java  части работы со спарком? Вопрос читаемости спорный, если не брать крайности cats/scalaz  то мой взгляд скала читаемее чем java, где из-за многословности иногда возникает вопрос: "а что сказать то хотел?"

читаемее это субьективное же)

А что не так с котами в связке со спарком?

очень нравятся всякие выдуманные .mapToPair -> new Tuple2 и т.п (части жавового апи в спарке)

на ревью кода жабская многословность работает в плюс. не надо смотреть весь модуль, достаточно изменённый метод прочитать. контекст обычно целиком в нём.

это субьективно; но жава апи мягко говоря не очень
выглядит как поделка сбоку

первый раз честно говоря вижу, что жава апи защищают)

надо знать что означает *> и » например

ну загуглил)

И в каком месте это связано со спарком?

думаю речь идет в целом что скала якобы не читабельная становится при сильном абузе этих библиотек

в скала то же самое, вот сейчас перед глазами код с StandfordNLP
public DirectedMultiGraph(DirectedMultiGraph<V,E> graph) {
   this(graph.outerMapFactory, graph.innerMapFactory);
   for (Map.Entry<V, Map<V, List<E>>> map : graph.outgoingEdges.entrySet()) {
     Map<V, List<E>> edgesCopy = innerMapFactory.newMap();
     for (Map.Entry<V, List<E>> entry : map.getValue().entrySet()) {
       edgesCopy.put(entry.getKey(), Generics.newArrayList(entry.getValue()));
     }
     this.outgoingEdges.put(map.getKey(), edgesCopy);
   }
   for (Map.Entry<V, Map<V, List<E>>> map : graph.incomingEdges.entrySet()) {
     Map<V, List<E>> edgesCopy = innerMapFactory.newMap();
     for (Map.Entry<V, List<E>> entry : map.getValue().entrySet()) {
       edgesCopy.put(entry.getKey(), Generics.newArrayList(entry.getValue()));
     }
     this.incomingEdges.put(map.getKey(), edgesCopy);
   }
 }
если бы не комментарий к началу, вообще сложно продраться что делается в нем

именно

Это всё хейтеры

согласен