ЕГ
Показывай, что не работает, ща разберёмся)
Size: a a a
2021 September 29
D
поставлю mysql
BT
вот так и сведу, чтобы в BI было то что нужно, а не что придумали разработчики 10 лет назад. Аттрибуты придется долго и муторно мапить к общему знаменателю.
AS
В 3 спарке добавили спец. поддержку звездочки
AZ
Меньше задержки на старте, меньше накладные на управление памятью, больше утилизация - они считают им этого хватит
A
боюсь только этот шаг не сильно поможет 🙂
A
кому нужно? Рознице, опту, e-commerce, финансам, маркетингу, логистике?
D
это круто, я даже могу поверить что где-то аж 20% буста добавит, но шафл. шафл не даст эти миллиарды джойнов гонять как того требует DV, anchor и прочие
AS
Skew join
ЕГ
В 3 же добавили обработку
D
2021-09-29 04:04:53 WARN [Reporter] YarnAllocator:66 - Container killed by YARN for exceeding memory limits. 22.3 GB of 20 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead or disabling yarn.nodemanager.vmem-check-enabled because of YARN-4714.
AS
Мы на 2.4
ЕГ
Spark.sql.shuffle.partitions=10000)
AZ
В моем кругу все архитектуры «нормализованный детальный слой с зависимыми витринами» называются инмоновским, то как сделана модель деталек (3NF/DV или что-то ещё) это частности
AS
А он зараза все равно в одну партицию хочет насовать кучу данных
ЕГ
Тогда ручками скю джойн сделать
AZ
Я тоже считаю что это не очень эффективно, но у них есть ОЧЕНЬ большие заказчики которые едят этот кактус и им нравится
AZ
(Витрины конечно материализуют)
D
на спарке тоже крупные заказчики. сути то это не меняет. там все неоднозначно. а джойны точно смерть
AS
скю?