S
всем привет, что за зверь втб (иннотех)? хантят с низкими требованиями и зп выше рынка
Size: a a a
2021 February 11
AG
Если в спарк приложении не используется RDD и udf есть смысл уменьшить user memory чтоб больше на storage и execution было?
АЖ
S
это в @datajobs
👌
ИК
Если в спарк приложении не используется RDD и udf есть смысл уменьшить user memory чтоб больше на storage и execution было?
если не используется RDD, что вообще делает это спарк-приложение?
NN
если не используется RDD, что вообще делает это спарк-приложение?
Думаю, что коллега имел в виду, что оперирует исключительно датафреймами/датасетами. Понятно, что под капотом rdd.)
ИК
Думаю, что коллега имел в виду, что оперирует исключительно датафреймами/датасетами. Понятно, что под капотом rdd.)
Да, это был наводящий вопрос, который должен был намекнуть, что не стоит файн-тюнить использование памяти, если ещё не исчерпаны возможности по оптимизации самого приложения
NN
Да, это был наводящий вопрос, который должен был намекнуть, что не стоит файн-тюнить использование памяти, если ещё не исчерпаны возможности по оптимизации самого приложения
Сложна
ИК
Кароч, управление памятью в спарк на автомате, не парься и следи, чтоб шафл поменьше был
ИК
Сложна
Так нормас? ^_^
2021 February 12
NN
Так нормас? ^_^
Ну, я все понял, так что вроде неплохо все вышло)
AE
ahhhh
e
Как думаете является ли ClickHouse хорошей заменой для Impala ?http://clickhouse.tech/docs/en/engines/table-engines/integrations/hdfs/amp/#hdfs
DZ
Как думаете является ли ClickHouse хорошей заменой для Impala ?http://clickhouse.tech/docs/en/engines/table-engines/integrations/hdfs/amp/#hdfs
Если хэш джоины и отсутствие оптимизатора устраиваются
AZ
По диалекту ещё посмотрите, там специфичный SQL, я помню в своих экспериментах писал какие-то страшные выражения чтобы реализовать логику оконной функции
VF
to_id is a Peer
P
Коллеги, куда кинуть вакансию можно? Прям в этот канал или в какой-то выделенный под вакансии?
R
Коллеги, подскажите, пожалуйста, в кликхаусе все ещё только возможны джоины толкьл по справочникам(а-ля broadcastHashJoin)? Или я древний мамонт, который отстал от жизни?