SS
справедливости ради могу сказать, что на Databricks Photon очень даже неплохо работает...
Size: a a a
2021 June 30
VS
я же говорю, лень думать разрабам/аналитикам
D
Photon это в целом спарк. спарк не в восторге от сотен джоинов
VS
а тебе сотня джойнов нужна только для витрин
VS
ну и для сырых данных, если истоничков много собирать для одной сущности
VS
с другой стороны, это есть во всех моделях, поэтому непонятно, почему нытье
SS
это уже не совсем Spark
NN
Кстати, а что это, расскажешь вкратце?
T
Спасибо большое
PA
в вашем случае кол-во строк это ген совокупность
T
👍
SS
гораздо лучше рассказывают эти дяденьки - https://databricks.com/session_na21/radical-speed-for-sql-queries-on-databricks-photon-under-the-hood
NN
Читанемс, спасибо)
AM
AN
У нас ДС копал ровно эту тему с проверками на сэмплах по витрине. Не скажу какой он там доверительный интервал брал, но для витрины 10^8/сутки остановились на сэмпле 0.1%. По его исследованиям этого хватает чтобы не переживать за оставшиеся 99.9, а так же хватает для обнаружения аномалий при сравнении день к дню. На регламенте используем. Пока все довольны.
T
А как он этот 0.1% получил?
A
В 2х крупнейших ритейлах РФ он работает, в одном из них ещё 10 лет назад DWH был на нем построен. + Avito и Яндекс такси где-то рассказывали, что используют. Кмк историй успеха предостаточно.
AN
В тетрадке экспериментами. По пятилетней витрине делал подневные сэмплы разного размера, собирал по ним dq-метрики итссотрел на сколько они отличаются от метрик посчитанных на полной витрине. Долго возился.
AZ
Photon это не Спарк, это МРР СУБД которая понимает спарковый API