Size: a a a

2020 February 19

K

KrivdaTheTriewe in Data Engineers
Андрей Жуков
дрил с паркетами
какие плюсы и минусы, расскажите)
источник

АЖ

Андрей Жуков in Data Engineers
даже конфиги дриловские можно вытащить 🙂
источник

АЖ

Андрей Жуков in Data Engineers
KrivdaTheTriewe
какие плюсы и минусы, расскажите)
плюсы - sql поверх всего подряд, можно сделать вьюшку и сразу в таблё, материализации прямо в паркет на с3
минусы - в кубах работает херово, под кэш жрет диск как не в себя, не очень адекватно берет метаданные из РСУБД, у нас его в Оракле забанили в определенный момент
источник

AZ

Anton Zadorozhniy in Data Engineers
KrivdaTheTriewe
какие плюсы и минусы, расскажите)
Самое главный минус (временный, следите за обновлениями) - не даёт обратно через себя записать рефлекции свои, это надо сбоку городить, получается такая read-only система
источник

AZ

Anton Zadorozhniy in Data Engineers
В HDFS и S3 поддерживает экспорты и сейчас, а вот в базы ещё никак
источник

С

Сюткин in Data Engineers
А регистрация то закрыта
источник

AC

Alexander Chermenin in Data Engineers
Сюткин
А регистрация то закрыта
местов нет))
источник

AZ

Anton Zadorozhniy in Data Engineers
Плюсы - это такой универсальный кэш для сатанистов, быстро можно сосать данные в любой фреймворк; работает буквально везде, и на EKS с какими-нибудь r5d просто сказка, helm upgrade set executor count и вперёд, правда дороговато, так что это только для очень требовательных клиентов
источник

С

Сюткин in Data Engineers
Ну дык дайте квоту для Сюткина и его Ко(эго)
источник

АЖ

Андрей Жуков in Data Engineers
Anton Zadorozhniy
В HDFS и S3 поддерживает экспорты и сейчас, а вот в базы ещё никак
А нам базы не обещают :)
источник

AZ

Anton Zadorozhniy in Data Engineers
А нет, забыл, для GCP/GCS нет ничего
источник

АЖ

Андрей Жуков in Data Engineers
Anton Zadorozhniy
Плюсы - это такой универсальный кэш для сатанистов, быстро можно сосать данные в любой фреймворк; работает буквально везде, и на EKS с какими-нибудь r5d просто сказка, helm upgrade set executor count и вперёд, правда дороговато, так что это только для очень требовательных клиентов
на амазоне, видимо, лучше, чем на openshift 🙂
источник

R

Renarde in Data Engineers
а подскажите плиз, я правильно понимаю что Drill, Apache Pinot и Presto - это по сути своей решения одного порядка?
источник

R

Renarde in Data Engineers
распределенные SQL-compatible движки с кешем - или у них есть еще какая-то хитрая функциональность?
источник

AZ

Anton Zadorozhniy in Data Engineers
Андрей Жуков
на амазоне, видимо, лучше, чем на openshift 🙂
А какие проблемы с опеншифтом? А то мне как раз надо будет последнему он-премному клиенту что-то такое предложить
источник

АЖ

Андрей Жуков in Data Engineers
Anton Zadorozhniy
А какие проблемы с опеншифтом? А то мне как раз надо будет последнему он-премному клиенту что-то такое предложить
ну, пришлось как минимум переписывать деплой на безрутовый
источник

AZ

Anton Zadorozhniy in Data Engineers
Андрей Жуков
ну, пришлось как минимум переписывать деплой на безрутовый
Они свой образ ЕЕ обновили, или вы на коммьюнити версии?
источник

АЖ

Андрей Жуков in Data Engineers
Anton Zadorozhniy
Они свой образ ЕЕ обновили, или вы на коммьюнити версии?
мы свой для EE писали, они у нас взяли 🙂
источник

АЖ

Андрей Жуков in Data Engineers
но ребята бодрые, уже для нас патчи обещают
источник

AZ

Anton Zadorozhniy in Data Engineers
Андрей Жуков
мы свой для EE писали, они у нас взяли 🙂
Вы наверное первый онпремный клиент с кубером для них)
источник