Готово

пасиб

Сейчас на митапе "Основы работы с PostGIS, Hadoop и Spark" выступает спикер с темой "Большие данные" (Spark и Hadoop): присоединяйтесь

я пытаюсь в databricks прочитать xlsx  файл. Для этого выполняю команду:
import pandas as pd
path='/dbfs:/mnt/RAW/2022/01/Hierarchy.xlsx'
pd_df= pd.read_excel(path, engine='openpyxl')


в ответ получаю ошибку No such file or directory: '/dbfs:/mnt/RAW/2022/01/Hierarchy.xlsx'

замена на engine='xlrd ' возвращает такой же результат

по пути '/dbfs:/mnt/RAW/2022/01' находится еще другой файл csv и он успешно читается, но через spark.read.csv, а вот pandas читать по этому пути не хочет
в чем может быть проблема ?

Есть два API к dbfs - один S3 like, другой - FUSE.
Спарк читает из dbfs по S3 пути - spark.read.format.load(dbfs:/some/path).
Для Pandas нужен FUSE путь:
pd.read_excel(/dbfs/some/path) - без двоеточия

спасибо, похоже помогло ))

Господа, привет! Сориентируйте пожалуйста, запускаю предикты ML моделей  через udf, 186 млн записей, выполняется примерно 9 часов, как процесс можно распаралелить и ускорить? spark 2.2, модели xgboost, SparkML не подходит

Больше партиций сделать, перейти на pandas_udf чтобы заюзать arrow и увеличить размер arrow блока

эрроу, 2.2

да, забыл сказать что выполняется на scala, партиций 2000

ребята еще камнем огонь добывают

опять же, не сказано что за кластер, окажется что 1.5 машины на 16гб памяти и 2vcpu

а ресурсов сколько выделено?

кластер 49 машин, выделено 300 ядер и около 600 гб памяти

ну вот смотрите, у вас 2000 партиций, они просасываются через 300 воркеров

можно посмотреть где и что тупит
можно докинуть ядер

в данный момент получается у вас 2000/300=6.x итераций полных проходит
докинув ещё 300 в теории ускорите в 2 раза

но это лишь теория

попробую, но думаю сильно делу не поможет)

ну остальные советы без понимаю где и что у вас просаживается сложно предложить

возможно на передаче данных
возможно у вас сам инференс медленный и съедает всё (тогда модель нужно тюнить)

Можете показать в коде, как происходит инициализация, создание юдф и применение модели?