Size: a a a

2021 July 02

AS

Andrey Shevchenko in Data Engineers
ну это как раз ручная манипуляция, тут уже надо голову включать
источник

N

Nail in Data Engineers
Может
источник

AS

Andrey Shevchenko in Data Engineers
интересно, я сейчас по плану выполнения вижу что даже мелкие, килобайтные таблички читались с диска отдельно несколько раз
источник

AE

Alexey Evdokimov in Data Engineers
эт надо явно спилльнуть на диск или в память, чтобы повторно не читал
источник

AE

Alexey Evdokimov in Data Engineers
и там есть некоторые нюансы
источник

N

Nail in Data Engineers
Да, такое тоже бывает. И кстати мне показалось, что чаще с мелкими таблицами как раз
источник

N

Nail in Data Engineers
Тонкостей не знаю
источник

AS

Andrey Shevchenko in Data Engineers
через .cache() и .persist()?
источник

N

Nail in Data Engineers
Я мелкие таблицы явно кэширую, если они используются более одного раза
источник

N

Nail in Data Engineers
Это почти одно и то же
источник

AS

Andrey Shevchenko in Data Engineers
это я понимаю
источник

N

Nail in Data Engineers
В sql тоже можно
источник

AE

Alexey Evdokimov in Data Engineers
угумс. но аккуратно надо
источник

AS

Andrey Shevchenko in Data Engineers
> "тут думать надо!" (c) =)
с этим часто проблема
источник

AE

Alexey Evdokimov in Data Engineers
:)))
вот ещё, думать. куях куях и в продакшен! Ъ!
источник

rG

rpuropuu Greeg'O'Rii... in Data Engineers
Тут есть ребята из клана датастакс?)
источник

АР

Андрей Романов... in Data Engineers
в persist ещё можно указать, как кешировать
источник

АР

Андрей Романов... in Data Engineers
например, только на диск
источник

АР

Андрей Романов... in Data Engineers
источник

A

Antony in Data Engineers
ну вот это как раз про что писал

выгоднее прочитать по новому нежели сериализованный раскидывать
источник