тогда это пять

🇺🇸✊💸Программисты и инженеры федеральной электроэнергетической компании Tennessee Valley Authority (TVA) протестуют против передачи их рабочих мест на аутсорс иностранным мигрантам с H-1B визами (читаем: индусам). Кстати, перед увольнением сотрудники ОБЯЗАНЫ обучить индусов своему функционалу.

Помнится, представители IT-индустрии очень любили с умным видом рассуждать о решающем рыночке и никчемном заводском быдле, которое по праву лишилось своих рабочих мест в пользу китайских дядюшек Ляо. Но вот волшебный рыночек в лице бесконечных индусских программистов порешал и их ❤️

Привет всем!
Мы рады представить Spark API для Kotlin, над которым мы долгое время работали: https://github.com/JetBrains/kotlin-spark-api.

Сейчас API находится на стадии beta-тестирования, но мы планируем сделать PR в официальный репозиторий Apache Spark, поэтому нам очень нужен фидбек, чтобы PR отражал не только наше понимание того, что нужно, но также учитывал пожелания конечных пользователей.

Чем хорош Kotlin Spark API? Хотя вы уже давно можете использовать Java API из Kotlin, Kotlin Spark API даёт вам доступ к API, более напоминающий Scala, чем Java, а также даёт вам использовать удобные штуки типа дата классов и лямбд.

Кроме того, Kotlin Spark API добавляет несколько удобных extension функций вроде withCached, которая даёт вам возможность вызывать произвольные конвейеры обработки на датасете без необходимости несколько раз пересчитывать данные, а также без страха забыть вызвать на этих данных unpersist.
Kotlin Spark API добавляет возможность работать с неименованными кортжами с помощью функции c(). Более того, их даже можно складывать как в Python!

Посмотреть quick start с использованием Maven или Gradle можно тут: https://github.com/JetBrains/kotlin-spark-api/blob/master/docs/quick-start-guide.md

А несколько разнообразных примеров использования тут: https://github.com/JetBrains/kotlin-spark-api/tree/master/examples/src/main/kotlin/org/jetbrains/spark/api/examples

Попробуйте и поделитесь своим мнением с нами в канале #kotlin-spark, или в GitHub Issues: https://github.com/JetBrains/kotlin-spark-api/issues.

Чатик, мне очень нужны адоптеры

И фидбек от них!

А обязаны прям по контракту?

scala рип?

Нет, но кусочек-то рынка можно откусить?

у кривды спросить надо

Ну ответ кривды мы знаем. Что не скала — то говно

На его адопшн я не особо рассчитываю

Но может быть есть люди, которые мучаются с Java API или им не нравится скорость компиляции скалы, или хочется запрорсто добавлять свои extension функции в спарковое API

Я так сделал для себя withColumnsRenamed чтобы не вызывать один метод 50 раз

Это который Спарк? Который апаче спарк или Спарк веб?

Давно же

почему так думаешь и как сейчас со скалой в кафке?

Никак

Кто-то пишет наверное

Но Java наше все

apache spark :)