Телеграмм чат группы moscowspark страница 799

Да, но пайтон оператор сделали в частности потому что не все согласны с этим подходом.

13:53пожаловаться #1

ПФ

Про разрастание: ну при нормальной структуре это не будет сильно отличаться от отдельного репозитория со спарком.
Про бэкап: ну я надеюсь что у вас и так всё в Гите :)

Артем Анистратов... in Moscow Spark

13:54пожаловаться #2

АА

Помимо этого, в случае долговременного падения аирфлоу, банально запустить код будет проблематично. В целом складывается ощущение, что кроме того, что это решение as is

13:55пожаловаться #3

ЕГ

Евгений Глотов... in Moscow Spark

Есть противоположный подход, один даг - один таск)

13:55пожаловаться #4

2021 September 08

Доброе утро!
Подскажите, пожалуйста, как df можно сохранить в excel?
Есть ли встроенная функция в спарк, тк подключить библиотеки не так просто

09:45пожаловаться #5

ПФ

Нет, встроенной функции нет

09:54пожаловаться #6

ПФ

Артем Анистратов... in Moscow Spark

Без библиотек сделать можно, но крайне сложно — придётся вручную составлять XML, а потом его паковать

CSV?

АА

Но в екселе потом ручками нужно будет разбивать на колонки

09:57пожаловаться #9

Проблема с типами могут быть плюс сложности в переводе в sql

09:58пожаловаться #10

А не встроенная это crealytics, верно?
есть ли ещё варианты?

09:59пожаловаться #11

Pavel Klemenkov in Moscow Spark

На пйаспарке все просто df.toPandas().to_excel()

10:00пожаловаться #12

Если ли там какой-то способ обойти ограничение по памяти, по типу разбить на маленькие куски и соединить, если не вмещается на ноду?
Не получается перевести в пандас
С самим пайспарком не работал

10:06пожаловаться #13

Pavel Klemenkov in Moscow Spark

Если у тебя датафрейм не влезает на драйвер, то писать его в эксель выглядит очень сомнительным мероприятием.

Максим Мартынов... in Moscow Spark

10:08пожаловаться #14

ММ

Нативной функции нет, придется писать самому

10:22пожаловаться #15