Телеграмм чат группы hadoopusers страница 1667

Size: a a a

Data Engineers

2019 October 05

Евгений Глотов

ну это смотря какие вычисления, если они все под капотом на си, то будет ещё и быстро)

известно заблуждение, если на С значит быстро, еще многое от рук писавших зависит
https://notamonadtutorial.com/weld-accelerating-numpy-scikit-and-pandas-as-much-as-100x-with-rust-and-llvm-12ec1c630a1

Medium

Interview with Weld’s main contributor: accelerating numpy, scikit and pandas as much as 100x with Rust and LLVM

After working for weeks with Python’s data science stack and R I started to ask my self if there could not be a common intermediate…

источник

00:29пожаловаться #1

ЕГ

Евгений Глотов in Data Engineers

а людей надо обучать, от этого всем только лучше)

источник

00:29пожаловаться #2

Alex in Data Engineers

Евгений Глотов

я же написал, pandas udf, данные спарк держит в pyarrow, пандас тоже - где здесь jvm?

как эти pyarrow попадают в другой процесс?

источник

00:29пожаловаться #3

Alex in Data Engineers

jvm и питон это разные процессы на машинке

источник

00:30пожаловаться #4

Alex in Data Engineers

ну вот самый простой вариант:
прочитали паркет в arrow
магия
они оказались в pyarrow в питоне
обработали
магия
спарком начали делать джойны и тд

источник

00:31пожаловаться #5

ЕГ

Евгений Глотов in Data Engineers

указатель в двух процессах на общую память мб

источник

00:32пожаловаться #6

Alex in Data Engineers

хотел бы сейчас выругаться, но на жаль нет

источник

00:35пожаловаться #7

Alex in Data Engineers

https://github.com/apache/spark/blob/master/sql/core/src/main/scala/org/apache/spark/sql/execution/python/ArrowPythonRunner.scala

GitHub

apache/spark

Apache Spark. Contribute to apache/spark development by creating an account on GitHub.

источник

00:35пожаловаться #8

Alex in Data Engineers

не умеет спарк в такое

источник

00:35пожаловаться #9

Grigory Pomadchin in Data Engineers

да он без магии конвертит датасеты в байт эрреи на экзекуторах

источник

00:38пожаловаться #10

ЕГ

Евгений Глотов in Data Engineers

ну в общем даже если перегонять массив байт из процесса в процесс, это работает быстрее, чем с кучей конвертаций

источник

00:42пожаловаться #11

ЕГ

Евгений Глотов in Data Engineers

можно конечно упороться и написать всё на чистом си, используя MPI, но вы поседеете, а проект так и не сдадите)

источник

00:43пожаловаться #12

ЕГ

Евгений Глотов in Data Engineers

на самом деле, виртуалэнв на экзекуторах иногда дольше создавать, чем гонять десятки гигов данных в udf

источник

00:45пожаловаться #13

ЕГ

Евгений Глотов in Data Engineers

Alex

не умеет спарк в такое

а на операционку нет надежды, что соптимизирует копирование?

источник

00:47пожаловаться #14

Alex in Data Engineers

это как?

источник

00:48пожаловаться #15

ЕГ

Евгений Глотов in Data Engineers

ну, видит здоровый кусок данных, которые копируются из процесса в процесс

источник

00:48пожаловаться #16

Alex in Data Engineers

и поэтому дадим 2м процессам его на запись?

источник

00:49пожаловаться #17

Alex in Data Engineers

к тому же в сокет влетают отдельные буфера

источник

00:49пожаловаться #18

Alex in Data Engineers

там же не memcpy даже

источник

00:49пожаловаться #19

ЕГ

Евгений Глотов in Data Engineers

ну, copy on write никто не отменял

источник

00:49пожаловаться #20