R
Встроенные сиквельные функции могут работать непосредственно с байтовым представлением Row объекта в отличие от udf
Size: a a a
2021 November 26
ИК
можно надеяться на лучшее, ну или посмотреть, если так сильно интересует))
ИК
тем более, я всё ещё сижу на 2.4, а все уже на 3.2
SI
Привет! Делюсь своей статьей про то, как писать код на Scala/Spark и затем использовать его из PySpark
https://medium.com/@sergeyivanychev/building-data-platform-in-pyspark-part-1-python-and-scala-interop-c52f96b7dc59
Пока оставлю ссылку на драфт, потому что HR партнер слишком рано опубликовал, по ее словам
https://medium.com/@sergeyivanychev/building-data-platform-in-pyspark-part-1-python-and-scala-interop-c52f96b7dc59
Пока оставлю ссылку на драфт, потому что HR партнер слишком рано опубликовал, по ее словам
DZ
в чем ценность/новизна?
SI
У меня заняло ненулевое время понять, как такое делать — делюсь с остальными
DZ
почему там sbt, но почему то build.gradle
DZ
при чем там deequ?
SI
да, поправил опечатку, спасибо!
SI
просто пример хорошей библиотеки, которая в питоне не настолько хороша
DZ
примерно 100% библиотек не так хороши в питоне как на жвм.
Про дельту ваще не понял
Про дельту ваще не понял
DZ
имхо в статье 80% воды.
Остальные 15 это копия доки
Остальные 15 это копия доки
SI
спасибо за фидбек
KR
Реально
Тут скорее надо думать о том, есть ли что-то на питоне лучше, чем на скале, а не наоборот
Тут скорее надо думать о том, есть ли что-то на питоне лучше, чем на скале, а не наоборот
DZ
не написано про java udf
DZ
который можно из питона вызвать
DZ
Sometimes PySpark partitioning API is not enough for you
ну да, зашить это в джава код это логично. Чтобы потом саппортить и питон и джаву
A
Сразу же в глаза бросилось
"org.apache.spark" % "spark-core_2.12" % sparkVersion % "provided",
Зачем скала версию выдавать есть у вас сбт?
"org.apache.spark" % "spark-core_2.12" % sparkVersion % "provided",
Зачем скала версию выдавать есть у вас сбт?
SI
ты имеешь в виду зарегистрировать ее в Java коде и позвать из питона?
DZ
"org.apache.spark" % "spark-core_2.12" % sparkVersion % "provided" -> "org.apache.spark" % "spark-core" %% sparkVersion % "provided",