В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

1195 membersпожаловаться на группу
2021 November 29

АА

Артем Анистратов... in Moscow Spark
Всем привет! Могли бы подсказать, есть ли какой либо профит в том, что создается спарк сессия для каждой отдельной задачи(чтение оракла, хдфс, запись результата)?
На первый взгляд кажется, что только утяжеляет алгоритм.
источник
10:25пожаловаться#1

АА

Артем Анистратов... in Moscow Spark
Уточню, сессии не используются параллельно, просто последовательно открываются и закрываются после выполнения своей части алгоритма
источник
10:28пожаловаться#2

DZ

Dmitry Zuev in Moscow Spark
это какой то бред
источник
10:52пожаловаться#3

ИК

Иван Калининский... in Moscow Spark
Не вижу здесь профита, только оверхед и отсутствие возможности переиспользования наборов данных
источник
10:52пожаловаться#4

DZ

Dmitry Zuev in Moscow Spark
как можно чтение и запись в разных сессиях сделать то?
источник
10:53пожаловаться#5

АА

Артем Анистратов... in Moscow Spark
Может не верно выразился, создается спарк сессия, в ней читают данные из оракла парсят в rdd, запихивают в словарь, закрывают сессию. Аналогично для хдфс, затем "ворочают" словари, для записи результата в оракл делают новую спарк сессию, пишут результат, закрывают сессию
источник
10:57пожаловаться#6

АА

Артем Анистратов... in Moscow Spark
Да я вот тоже так думаю, но предположил что чего то не знаю
источник
10:57пожаловаться#7

DZ

Dmitry Zuev in Moscow Spark
что такое словарь?
источник
10:57пожаловаться#8

АА

Артем Анистратов... in Moscow Spark
dict python
источник
10:58пожаловаться#9

DZ

Dmitry Zuev in Moscow Spark
уу бля
источник
10:58пожаловаться#10

DZ

Dmitry Zuev in Moscow Spark
sticker.webp
(16.29 Кб)
источник
10:58пожаловаться#11

ИК

Иван Калининский... in Moscow Spark
Обычно стараются наоборот, мультиплексировать джобы в одной и той же сессии. Появляется вопрос, как её лучше настроить
источник
10:58пожаловаться#12

DZ

Dmitry Zuev in Moscow Spark
проблема не в сессиях, проблема в том что вы спарк не по назначению используете
источник
10:59пожаловаться#13

АА

Артем Анистратов... in Moscow Spark
Это я полностью осознаю. Тут была попытка понять: я не знаю что то, или код, на который я смотрю, странный
источник
11:01пожаловаться#14

АР

Андрей Романов... in Moscow Spark
может, словарь получится заменить на джойн датафреймов из оракла и hdfs?

или же наоборот, словарь заменил эти джойны?
источник
11:02пожаловаться#15

k

kvadratura in Moscow Spark
🤣🤣
источник
11:02пожаловаться#16

k

kvadratura in Moscow Spark
обычно спарковский код = все "ворочается в датафреймах", без конвертации во всякие пандасы или путонские / скаловские data structures
источник
11:05пожаловаться#17

АА

Артем Анистратов... in Moscow Spark
Тык даа, но почему то люди сделали иначе. Я и подумал или тут сверх умное решение: я еще не преисполнился в своем сознании, что бы понять его или просто глупость написана
источник
11:10пожаловаться#18

k

kvadratura in Moscow Spark
это все еще и в юпутер-тетрадке, наверное?
источник
11:11пожаловаться#19

k

kvadratura in Moscow Spark
разве что, там какой-то сверх хитрый типа-джоин, который невозможно реализовать в спарке (сильно сомневаюсь)
источник
11:13пожаловаться#20