Телеграмм чат группы moscowspark страница 123

Я бы порекомендовал выгрузить список категорий, во-первых пивоту его на вход подать, а во-вторых написать по нему мап, который генерирует список оконных функций над каждой колонкой

источник

13:18пожаловаться #4

KS

Kostya Shchetkin in Moscow Spark

KS

Kostya Shchetkin in Moscow Spark

спасибо!

источник

13:18пожаловаться #6

AA

Anton Alekseev in Moscow Spark

Подскажите, пользовал кто spark job-server для целей сохранения контекста, или это не прод решение? Типа такого https://stackoverflow.com/questions/31647703/how-to-cache-data-in-apache-spark-that-can-be-used-by-other-spark-job

Stack Overflow

how to cache data in apache spark that can be used by other spark job

I have a simple spark code in which I read a file using SparkContext.textFile() and then doing some operations on that data, and I am using spark-jobserver for getting output.
In code I am caching ...

источник

15:52пожаловаться #7

DG

Denis Gabaydulin in Moscow Spark

Я не пользовался, но у нас примерно такое же свое. В смысле что, в одном контексте выполняются разные приложения. И да, можно таким образом делать глобалкеши.

источник

15:54пожаловаться #8

DG

Denis Gabaydulin in Moscow Spark

То есть у нас есть воркеры, которые поднимают контекст. Ходят к планировщику, который выдает задачи. Пока задачи есть, контекст жив.

источник

15:56пожаловаться #9

AA

Anton Alekseev in Moscow Spark

Denis Gabaydulin

Я не пользовался, но у нас примерно такое же свое. В смысле что, в одном контексте выполняются разные приложения. И да, можно таким образом делать глобалкеши.

А своё в опенсорсе или закрыто?

источник

15:56пожаловаться #10

GP

Grigory Pomadchin in Moscow Spark

Anton Alekseev

Подскажите, пользовал кто spark job-server для целей сохранения контекста, или это не прод решение? Типа такого https://stackoverflow.com/questions/31647703/how-to-cache-data-in-apache-spark-that-can-be-used-by-other-spark-job

Stack Overflow

how to cache data in apache spark that can be used by other spark job

I have a simple spark code in which I read a file using SparkContext.textFile() and then doing some operations on that data, and I am using spark-jobserver for getting output.
In code I am caching ...

плохо работает

источник

15:56пожаловаться #11

GP

Grigory Pomadchin in Moscow Spark

может для какихто юзкейсов работает; в моих было медленно и неудобно

источник

15:57пожаловаться #12

DG

Denis Gabaydulin in Moscow Spark

Anton Alekseev

А своё в опенсорсе или закрыто?

Закрыто.

источник

15:57пожаловаться #13

GP

Grigory Pomadchin in Moscow Spark

проще написать свою апиху, если уж так хочется что-то типа джоб сервера

источник

15:57пожаловаться #14

GP

Grigory Pomadchin in Moscow Spark

есть новее шляпа https://github.com/Hydrospheredata/mist

GitHub

Hydrospheredata/mist

Serverless proxy for Spark cluster. Contribute to Hydrospheredata/mist development by creating an account on GitHub.

источник

15:57пожаловаться #15

GP

Grigory Pomadchin in Moscow Spark

может она лучше, @dos65 может даже коментить по вопросам

источник

15:58пожаловаться #16

AA

Anton Alekseev in Moscow Spark

Grigory Pomadchin

проще написать свою апиху, если уж так хочется что-то типа джоб сервера

Ну видимо придётся, тот что на гитхабе (https://github.com/spark-jobserver/spark-jobserver) выглядит монструозным.

GitHub

spark-jobserver/spark-jobserver

REST job server for Apache Spark. Contribute to spark-jobserver/spark-jobserver development by creating an account on GitHub.

источник

15:58пожаловаться #17

AA

Anton Alekseev in Moscow Spark

Grigory Pomadchin

есть новее шляпа https://github.com/Hydrospheredata/mist

GitHub

Hydrospheredata/mist

Serverless proxy for Spark cluster. Contribute to Hydrospheredata/mist development by creating an account on GitHub.

Ооо найс, почитаю, спасибо

источник

15:59пожаловаться #18

VC

Vadim ChelyshOv in Moscow Spark

Grigory Pomadchin

может она лучше, @dos65 может даже коментить по вопросам

ну она не особо про кеши. но кейс с удержанием контекста есть.

источник

16:02пожаловаться #19

2019 April 26

PK

Pavel Klemenkov in Moscow Spark

Новость со Spark Summit. Databricks анонсировал Koalas. Pandas-comaptible API, который транслируется в датафреймы. Хороший ход, чтобы перетаскивать на Spark все больше датасатанистов, но мы то с вами знаем, что не все так просто )) https://www.youtube.com/watch?v=Shzb15DZ9Qg

YouTube

Announcing Koalas Open Source Project | Reynold Xin (Databricks), Brooke Wenig (Databricks)

Keynote from Spark + AI Summit 2019: Reynold Xin, Databricks, Brooke Wenig, Databricks About: Databricks provides a unified data analytics platform, powered ...

источник

11:19пожаловаться #20