AZ
а, ну тут про модель, а не про сами данные
А, у вас в запросе на скоринг не содержится данных? Тогда я просто вас неправильно понял, это просто передача данных по ключу от одного приложения другому, модели тут не причём :)
Size: a a a
2019 October 07
EV
там не скоринг а атрибуция :)
EV
она считается на куче данных которые есть в даталейке и ее нужно обратно отдать
EV
самодельная гугл аналитика короче
VS
А YT выходило куда-нибудь за рамки яндекса ?
Пускай там дальше и сидит
S
кто в курсе внутренней кухни, феникс5 под хбейз 2 скорее жив или мертв?
с релизами совсем не ладится по сравнению с 4 :(
с релизами совсем не ладится по сравнению с 4 :(
К
Всем привет!
Кто нибудь женил на EMR pyspark+hive+oozie?
Выше видел обсуждения (https://stackoverflow.com/questions/45477155/missing-hive-site-when-using-spark-submit-yarn-cluster-mode), не помогло.
Делаю сабмит скрипта - видит hive таблицы.
Запускаю тоже самое через oozie - падает с
Пробовал подкладывать
Кто нибудь женил на EMR pyspark+hive+oozie?
Выше видел обсуждения (https://stackoverflow.com/questions/45477155/missing-hive-site-when-using-spark-submit-yarn-cluster-mode), не помогло.
Делаю сабмит скрипта - видит hive таблицы.
Запускаю тоже самое через oozie - падает с
Error while instantiating 'org.apache.spark.sql.hive.HiveExternalCatalogПробовал подкладывать
hive-site.xml через --files, spark.yarn.dist.file
OI
Привет!
Вопрос насчёт spark streaming. Если запустить штук 20 стримов, то даже при dynamic allocation минимум будет сожрано 20 ядер + оперативка в объеме 20x<executor memory>? Или это можно как-то обойти?
Вопрос насчёт spark streaming. Если запустить штук 20 стримов, то даже при dynamic allocation минимум будет сожрано 20 ядер + оперативка в объеме 20x<executor memory>? Или это можно как-то обойти?
A
про тот который structural стриминг не могу сказать
но в остальном там же драйвер раз сколько-то времени чекает статус в очереди, делает нарезку тасков и шедулит их на воркеры с “лопать от сих до сих”
но в остальном там же драйвер раз сколько-то времени чекает статус в очереди, делает нарезку тасков и шедулит их на воркеры с “лопать от сих до сих”
OI
у меня structured streaming(
OI
и чёт пока они все висят
OI
в смысле, что ожидая новые данные держат и ядра и оперативку у себя
GP
Привет!
Вопрос насчёт spark streaming. Если запустить штук 20 стримов, то даже при dynamic allocation минимум будет сожрано 20 ядер + оперативка в объеме 20x<executor memory>? Или это можно как-то обойти?
Вопрос насчёт spark streaming. Если запустить штук 20 стримов, то даже при dynamic allocation минимум будет сожрано 20 ядер + оперативка в объеме 20x<executor memory>? Или это можно как-то обойти?
а ты пробовал насильно колво партиций ставить? (ради эксперимента)
GP
количество сожраных ядер и выделеных ехекуторов определяется количеством партиций
GP
стрим по дефолту может обрабатывать только один батч (имею ввиду одну 'стрим жобу' / один стрим кусок за раз)
типа он сожрал инпут из кафки - пока все не отпроцессит - след порцию не возьмет (ехекуторы будут все проставивать пока самый последний ехекутор не допроцессит)
типа он сожрал инпут из кафки - пока все не отпроцессит - след порцию не возьмет (ехекуторы будут все проставивать пока самый последний ехекутор не допроцессит)
GP
там есть флаг, который разрешает поставить число паралельных бачтей в одно время отрабатываемых
spark.streaming.concurrentJobsA
у меня structured streaming(
ошибся, я имел в виду именно Continuous processing
там топология деплоит и процессит вроде как постоянно
там топология деплоит и процессит вроде как постоянно
АЖ
там есть флаг, который разрешает поставить число паралельных бачтей в одно время отрабатываемых
spark.streaming.concurrentJobsхм, то есть типа можно ограничить количество вычитываемых топиков в одном приложении
GP
хм, то есть типа можно ограничить количество вычитываемых топиков в одном приложении
это зависит от конфиугарции джобы)
АЖ
это зависит от конфиугарции джобы)
это понятно, я как раз об этом и начал думать
надо побаловаться с настройками
надо побаловаться с настройками