В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Moscow Spark

872 membersпожаловаться на группу
2019 October 11

DZ

Dmitry Zuev in Moscow Spark
Так драйвер порвет
источник
22:07пожаловаться#1

☭S

☭ ⤳ λ Shinkevich... in Moscow Spark
а иначе - только первый мой вариант. не передашь ты на экзекутор сессию, что бы сделать что-то типа df.flatMap(r=>  sql.read.format("org.elasticsearch.spark.sql")
                       .options(options)
                       .load("spark/index").filter(f=> r.что-то-там))
источник
22:10пожаловаться#2

DZ

Dmitry Zuev in Moscow Spark
☭ ⤳ λ Shinkevich
а иначе - только первый мой вариант. не передашь ты на экзекутор сессию, что бы сделать что-то типа df.flatMap(r=>  sql.read.format("org.elasticsearch.spark.sql")
                       .options(options)
                       .load("spark/index").filter(f=> r.что-то-там))
Это так не работает
источник
22:13пожаловаться#3

DZ

Dmitry Zuev in Moscow Spark
Потому что flatmap ненастоящий
источник
22:13пожаловаться#4

DZ

Dmitry Zuev in Moscow Spark
Ну да
источник
22:13пожаловаться#5

DZ

Dmitry Zuev in Moscow Spark
Увы
источник
22:14пожаловаться#6

☭S

☭ ⤳ λ Shinkevich... in Moscow Spark
если уж очень хочется с pushdown можно партицировать исходную df, по-партициям делать collect на драйвере, ну и т.д.
источник
22:19пожаловаться#7

DZ

Dmitry Zuev in Moscow Spark
Да через map partition сделаю
источник
22:21пожаловаться#8
2019 October 13

ТС

Тимофей Смирнов... in Moscow Spark
всем привет,
гоняю спарк джобу в кубере и часто вылезает ошибка
java.lang.OutOfMemoryError
  at java.lang.AbstractStringBuilder.hugeCapacity(AbstractStringBuilder.java:161)

я пытаюсь решить через сохранение и считывание, но начинает вылезать все чаще в неожиданных местах
Может кто сталкивался ? как решали ?
источник
12:23пожаловаться#9

DZ

Dmitry Zuev in Moscow Spark
Какие memorylimit?
источник
12:24пожаловаться#10

DZ

Dmitry Zuev in Moscow Spark
А хотя не
источник
12:24пожаловаться#11

DZ

Dmitry Zuev in Moscow Spark
Тогда бы убивало контейнер прост
источник
12:25пожаловаться#12

SS

Semyon Sinchenko in Moscow Spark
Тимофей Смирнов
всем привет,
гоняю спарк джобу в кубере и часто вылезает ошибка
java.lang.OutOfMemoryError
  at java.lang.AbstractStringBuilder.hugeCapacity(AbstractStringBuilder.java:161)

я пытаюсь решить через сохранение и считывание, но начинает вылезать все чаще в неожиданных местах
Может кто сталкивался ? как решали ?
А что там ещё в стэктрейсе?
источник
12:58пожаловаться#13

ТС

Тимофей Смирнов... in Moscow Spark
Semyon Sinchenko
А что там ещё в стэктрейсе?
источник
12:59пожаловаться#14

SS

Semyon Sinchenko in Moscow Spark
Вот так кажется, что просто надо запрос разбить на покороче. И персисты вставить между ними.
источник
13:00пожаловаться#15

SS

Semyon Sinchenko in Moscow Spark
Что там такого делается, что запрос взрывает стринг билдер? Очень много колонок и очень длинный итоговый запрос?
источник
13:01пожаловаться#16

ТС

Тимофей Смирнов... in Moscow Spark
мне казалось что запрос не очень большой, несколько фильтров, groupby, join и это 24 раза
источник
13:07пожаловаться#17

ТС

Тимофей Смирнов... in Moscow Spark
спасибо, а не лучше делать checkpoint ?
источник
13:07пожаловаться#18

ЕГ

Евгений Глотов... in Moscow Spark
А может какие-нибудь строки на пару гигов?
источник
13:09пожаловаться#19

SS

Semyon Sinchenko in Moscow Spark
Не знаю. Я обычно, если проблемы с запросом или каталист стэк оверфлоу или подобные перед джойнами делаю персисты и акшны. Это ещё и сами джойны ускоряет.
источник
13:09пожаловаться#20