AN
ну в принципе да
Size: a a a
2020 September 07
Oℕ
Ну в реальности действительно хорошо бы просто обобщить groupedWithin
Oℕ
на произвольную аггрегирующую функцию, вместо просто Seq
AN
Ну в реальности действительно хорошо бы просто обобщить groupedWithin
да, сделать aggregateWithin
AN
Oℕ
публикуйте
Oℕ
или ПР в акку
Oℕ
но вообще лучше заменить Option[Out] на произвольный S
Oℕ
как в сonflateWithSeed
AN
но вообще лучше заменить Option[Out] на произвольный S
seed нужно обнулять при срабатывании лимитов и потом новый создавать
AN
в моей версии:
- обнуление происходит при помощи acc=None
- а пересоздание в aggrFn в mapOrElse для acc
- обнуление происходит при помощи acc=None
- а пересоздание в aggrFn в mapOrElse для acc
Oℕ
Artem Nazarenko
seed нужно обнулять при срабатывании лимитов и потом новый создавать
ну да, так и происходит conflateWithSeed
СХ
Привет народ, скажите, на сколько будет реально найти человека вот под такие требования.
Обязанности:
Разработка, внедрение и поддержка сервисов на Scala с использованием GPU
Участие в проектировании архитектуры новых решений
Исследование и выбор наиболее подходящих технологий и компонентов
Документирование разрабатываемых решений
Проведение code review
Требования:
Опыт разработки на Scala от 3 лет.
Опыт работы с AirFlow от 2 лет, опыт написания сложных кастомных job
Опыт работы с Apache Spark от 3 лет, реализация параллельных алгоритмов на CUDA
Опыт работы с PostgreSQl, Apache Ignite, Kafka (KSQL), MSSQL
Опыт работы с Docker
Опыт работы с Python, для переноса на Scala алгоритмов и задач для многопоточного выполнения
Умение представлять и аргументировать свои решения
ET
Привет народ, скажите, на сколько будет реально найти человека вот под такие требования.
Обязанности:
Разработка, внедрение и поддержка сервисов на Scala с использованием GPU
Участие в проектировании архитектуры новых решений
Исследование и выбор наиболее подходящих технологий и компонентов
Документирование разрабатываемых решений
Проведение code review
Требования:
Опыт разработки на Scala от 3 лет.
Опыт работы с AirFlow от 2 лет, опыт написания сложных кастомных job
Опыт работы с Apache Spark от 3 лет, реализация параллельных алгоритмов на CUDA
Опыт работы с PostgreSQl, Apache Ignite, Kafka (KSQL), MSSQL
Опыт работы с Docker
Опыт работы с Python, для переноса на Scala алгоритмов и задач для многопоточного выполнения
Умение представлять и аргументировать свои решения
есть спец чат для этого https://t.me/scala_jobs
СХ
есть спец чат для этого https://t.me/scala_jobs
ок, спасибо
E
подскажите, пожалуйста, как добавить пакет с Apache Spark?
E
я сам из дотнета в скалу перехожу. там были нугет-пакеты (местный npm), подозреваю что здесь что-то похожее должно быть
AH
подскажите, пожалуйста, как добавить пакет с Apache Spark?
тут есть мавен
https://search.maven.org/
https://search.maven.org/
ET
я сам из дотнета в скалу перехожу. там были нугет-пакеты (местный npm), подозреваю что здесь что-то похожее должно быть
стоит доку по sbt посмотреть https://www.scala-sbt.org/1.x/docs/Library-Dependencies.html#Getting+the+right+Scala+version+with