Size: a a a

2019 April 26

AA

Anton Alekseev in Moscow Spark
Pavel Klemenkov
Новость со Spark Summit. Databricks анонсировал Koalas. Pandas-comaptible API, который транслируется в датафреймы. Хороший ход, чтобы перетаскивать на Spark все больше датасатанистов, но мы то с вами знаем, что не все так просто )) https://www.youtube.com/watch?v=Shzb15DZ9Qg
pd = SparkSession.builder.getOrCreate()
?😄
источник

PK

Pavel Klemenkov in Moscow Spark
Anton Alekseev
pd = SparkSession.builder.getOrCreate()
?😄
Почти )
источник

ЕГ

Евгений Глотов... in Moscow Spark
Кто-нибудь юзает пандас юдф хотя бы?)
источник

PK

Pavel Klemenkov in Moscow Spark
Евгений Глотов
Кто-нибудь юзает пандас юдф хотя бы?)
Мы активно юзаем
источник

AA

Anton Alekseev in Moscow Spark
Евгений Глотов
Кто-нибудь юзает пандас юдф хотя бы?)
+
источник

ЕГ

Евгений Глотов... in Moscow Spark
О, круто)
источник

PK

Pavel Klemenkov in Moscow Spark
Меня ток бесит, что в одном даге нельзя векторизованные и невекторизованные юдфки мешать
источник

ЕГ

Евгений Глотов... in Moscow Spark
Хм
источник

ЕГ

Евгений Глотов... in Moscow Spark
Пока с таким не сталкивался)
источник

ЕГ

Евгений Глотов... in Moscow Spark
У меня проблема в 255+ колонок)
источник

AL

Alex Lu in Moscow Spark
Pavel Klemenkov
Меня ток бесит, что в одном даге нельзя векторизованные и невекторизованные юдфки мешать
неожиданно
источник

AA

Anton Alekseev in Moscow Spark
Евгений Глотов
У меня проблема в 255+ колонок)
Пфф, 40к))
источник

AA

Anton Alekseev in Moscow Spark
Было раньше, я взялся за ум, и напряг бэков)
источник

ЕГ

Евгений Глотов... in Moscow Spark
Ну у меня поменьше, 3500)
источник

ЕГ

Евгений Глотов... in Moscow Spark
Я пока что решил только переходом на питон 3.7
источник

PK

Pavel Klemenkov in Moscow Spark
Евгений Глотов
Я пока что решил только переходом на питон 3.7
Поясни? Я связь не уловил
источник

ЕГ

Евгений Глотов... in Moscow Spark
Ну, у меня юдф ругается на то, что больше 255 аргументов в функции, там внутри какой-то eval выполняется
источник

ЕГ

Евгений Глотов... in Moscow Spark
Если засунуть в группед мап датафрейм с кучей колонок, падает
источник

ЕГ

Евгений Глотов... in Moscow Spark
В питон 3.7 сняли ограничение на 255 аргументов функции
источник

Ф

Фёдор in Moscow Spark
Евгений Глотов
В питон 3.7 сняли ограничение на 255 аргументов функции
Мир не будет прежним
источник