DG
Честый тест,монтировать каждый раз заново.
Size: a a a
2019 May 28
AA
Вообще да, там есть кэш при монтировании указывается. Думаете в нем дело? Я и кластер рестартовал на всякий.
AA
правда один раз
AA
Честый тест,монтировать каждый раз заново.
окей, буду пробовать
AA
Или лучше просто отключу кэш при монтировании
DG
Еще интересно оттрассировать вызовы к s3 апи, но я хз как это сделать)
AA
Вот на что приходится идти, когда у тебя двоеточие в путях появляется))
GP
Anton Alekseev
Или лучше просто отключу кэш при монтировании
попробуй, инетресно будет
я подозреваю они тупо кешат сразу первые н обектов / папок
или то что ты пролистил
а потом работают как обычно
я подозреваю они тупо кешат сразу первые н обектов / папок
или то что ты пролистил
а потом работают как обычно
GP
типа на скейле разницы не будет или будет только хуже когда ты упрешься в иопсы
AA
попробуй, инетресно будет
я подозреваю они тупо кешат сразу первые н обектов / папок
или то что ты пролистил
а потом работают как обычно
я подозреваю они тупо кешат сразу первые н обектов / папок
или то что ты пролистил
а потом работают как обычно
отключил, все равно file быстрее. Ну, главное что не медленнее:)
GP
Anton Alekseev
отключил, все равно file быстрее. Ну, главное что не медленнее:)
+
EV
А по что эти пляски с fuse, позвольте спросить?
AA
А по что эти пляски с fuse, позвольте спросить?
Надо путь к csv с двоеточием прочитать. Через симлинк и моунт пилю воркэроунд.
EV
жесть какая
GP
2019 May 30
KS
Всем привет! в Pandas_udf апплается sklearn моделька. udf-ка работает корректно, но когда запускаю на всем датафрейме падаю с executor.memory overhead-ом. Кручу arrow батч сайз, кол-во партиций и кол-во памяти. Чет пока не выходит. Никто не сталкивался?
KS
функция "features"
ЕГ
А насколько сильно крутили батч сайз?