Size: a a a

2020 January 29

AZ

Anton Zadorozhniy in Data Engineers
пг 11 и моложе очень неплохо умеет параллелить хэш джоины к слову
источник

AS

Anton Shelin in Data Engineers
в спарке проблема это ad hoc запросы. если в них потребности нет то спарка вам хватит. если нет и пг не хватает то кх и т.п.
источник

DZ

Dmitry Zuev in Data Engineers
в чем проблема?
zeppelin и в путь
источник

DZ

Dmitry Zuev in Data Engineers
или там thrift server в конце концов
источник

AZ

Anton Zadorozhniy in Data Engineers
Dmitry Zuev
в чем проблема?
zeppelin и в путь
zeppelin или другой ноутбук/способ доступа не делают спарк более эффективным для ад-хок запросов
источник

DZ

Dmitry Zuev in Data Engineers
ну я имел ввиду adhoc к персищеным вьюхам
источник

AZ

Anton Zadorozhniy in Data Engineers
контекст шэринг, изоляция тасков внутри контекста, нормальная статистика и основанный на ней планировщик запросов - все это пока только в пути, и появится не скоро, так что если нужна высокая производительность/управляемость на ад-хок запросах то лучше сейчас взять нормальную СУБД
источник

S

Stanislav in Data Engineers
Anton Shelin
в спарке проблема это ad hoc запросы. если в них потребности нет то спарка вам хватит. если нет и пг не хватает то кх и т.п.
там биай так-то потребитель
источник

N

Nikolay in Data Engineers
В КХ нет планировщика
источник

AZ

Anton Zadorozhniy in Data Engineers
Nikolay
В КХ нет планировщика
я КХ и не предлагал)
источник

N

Nikolay in Data Engineers
стоимостного
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
контекст шэринг, изоляция тасков внутри контекста, нормальная статистика и основанный на ней планировщик запросов - все это пока только в пути, и появится не скоро, так что если нужна высокая производительность/управляемость на ад-хок запросах то лучше сейчас взять нормальную СУБД
Хайв взять
источник

K

KrivdaTheTriewe in Data Engineers
И ходить в неё Спарком
источник

K

KrivdaTheTriewe in Data Engineers
источник

VS

Vasily Shabanov in Data Engineers
Старком?
источник

K

KrivdaTheTriewe in Data Engineers
Vasily Shabanov
Старком?
Апаче Старк
источник

VS

Vasily Shabanov in Data Engineers
ага
источник

VS

Vasily Shabanov in Data Engineers
А что это?
источник

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
Хайв взять
это ближе, но все равно так себе в плане управляемости и производительности
источник

K

KrivdaTheTriewe in Data Engineers
Anton Zadorozhniy
это ближе, но все равно так себе в плане управляемости и производительности
Ну годовой отчёт будет строить быстрее
источник