Материалы всех наших митапов: https://deordie.com
Наш чат в Telegram: https://t.me/deordie_chat
Новые события сообщества DE or DIE: https://deordie.timepad.ru/events/

Автор доклада: Андрей Титов, Senior Spark Engineer, NVIDIA

В своем докладе я поделюсь своим опытом использования пользовательских функций в высокопроизводительных PySpark приложениях.

При использовании PySpark часто забывают о возможности использования UDF, написанных на Scala/Java. А ведь это отличный способ увеличить производительность вашего приложения.

К сожалению, в официальной документации приводится самый базовый вариант их применения, который  имеет ряд ограничений и не раскрывает всех возможностей применения Scala/Java UDF в PySpark.

В своем докладе я расскажу, как:
– заставить PySpark автоматически выводить тип данных, возвращаемых в UDF;
– создать pyspark.sql.Column на базе UDF вместо использования spark.sql(…);
– использовать Singleton Pattern для сохранения данных между вызовами функций и работы с внешними источниками из UDF;
– избежать повторного вызова UDF на одних и тех же данных;
– настроить логирование с помощью встроенного log4j.