AK
hdfs dfs -lsr | sort )
Так в двух местах, и через diff получить разность
Так в двух местах, и через diff получить разность
Size: a a a
2021 October 21
N
А есть у кого-нибудь живой пример практического применения Apache Arrow в народном хозяйстве? Для чего он юзается? Написать свой спарк?
OI
to_pandas? или что-то серьёзное?
N
Я не знаю, я хочу понять.
ЕГ
pandas_udf
OI
ну дсы когда ту пандас делают, если использовать arrow, то сильно лучше
и pandas_udf, да
и pandas_udf, да
OI
наверное, есть примеры поинтереснее, но у меня нет)
ИК
Dremio вот использует.
И на смартдате я спрашивал докладчика оттуда, что и как можно сделать с данными, но реляционки не умеют отдавать в Arrow Flight, поэтому пока я не вижу, как бы применить с пользой(
И на смартдате я спрашивал докладчика оттуда, что и как можно сделать с данными, но реляционки не умеют отдавать в Arrow Flight, поэтому пока я не вижу, как бы применить с пользой(
ЕГ
Это уже достаточно интересно, скорость иксджибуста повышена вдвое)
N
to_pandas это что-то на пуспарковом?
OI
да) конвертация из spark dataframe в pandas dataframe
OI
а потом можно уже чё-нибудь обучать
N
Я оттуда же и стал интересоваться.
ИК
У Andy Pavlo в курсе CMU был слайд, где Arrow наравне с RDMA по скорости передачи данных. RDMA дорого, arrow открытый. Казалось бы, все должны за arrow топить, но всё ещё не вижу с ним большого количества продуктов
AZ
пока не умеют 😊
N
А что они делают? Жава объекты трансформируют в арров и применяют к нему уже арровные трансформации?
OI
Да, только потом применяют питонячьи трансформации
OI
Типа с эрроу можно работать жабой, питоном, сями и всем остальным.
OI
и, что важно - это всё будет векторно
GP
в контексте паркета как мемори маппед файл можно использовать его а некоторых случаях что круто
мож конечно не так круто как хотелось бы но вот оно так
мож конечно не так круто как хотелось бы но вот оно так