AZ
Это легко посмотреть, ULID хранится как логический тип UUID (это тоже 16 байт), а для UUID паркет вроде умеет min max
Size: a a a
2021 May 22
AZ
Все эти монотонные штуки нужны для генерации ключей в онлайне, в батче только лукапить если; для чистого батч UUID достаточно
SS
для батча - да. сделать репартишон dim-таблицы и fact-таблицы по натуральному ключу и сджойнить.
но мне нужно выжать максимальную производительность для ad-hoc запросов в Star Schema Model
но мне нужно выжать максимальную производительность для ad-hoc запросов в Star Schema Model
AZ
Максимальную производительность и спарк?) денормализуйте
SS
поправьте если ошибаюсь, пожалуйста:
1) хочу генерировать в dim-таблицах монотонные суррогатные ключи, сортируя по наиболее употребимым в запросах полям (country_code/language/etc)
2) при генерации fact-таблиц хочу сортировать записи по суррогатным ключам
3) тем самым помимо очевидного partition pruning по датам могу получить dynamic file pruning
1) хочу генерировать в dim-таблицах монотонные суррогатные ключи, сортируя по наиболее употребимым в запросах полям (country_code/language/etc)
2) при генерации fact-таблиц хочу сортировать записи по суррогатным ключам
3) тем самым помимо очевидного partition pruning по датам могу получить dynamic file pruning
AZ
Я правильно понимаю что вы на датабриксе? Там zordering для пропускания файлов работает, он вроде может на uuid колонках работать
AZ
монотонность тут вообще не нужна, у вас понятия "времени" же нет
AZ
сортировать можно и бинарные данные, и строчки
SS
да, ДатаБрикс. предлагаете наплевать на потенциальные коллизии и на бОльший размер?
SS
да, монотонность неверное не требуется
AZ
коллизий с UUID?
YI
Суррогатные ключи можно хоть хеш-функцией, хоть uuid генерить. Коллизии там случатся с ничтожной вероятностью.
SS
это абсолютно невозможно?
AZ
почему, возможно
> Only after generating 1 billion UUIDs every second for the next 100 years, the probability of creating just one duplicate would be about 50%. Or, to put it another way, the probability of one duplicate would be about 50% if every person on earth owned 600 million UUIDs.
> Only after generating 1 billion UUIDs every second for the next 100 years, the probability of creating just one duplicate would be about 50%. Or, to put it another way, the probability of one duplicate would be about 50% if every person on earth owned 600 million UUIDs.
AZ
обычно эту возможность игнорируют
AZ
ну и потом если у вас случайный UUID кладется в мапинговую таблицу, даже если вы поймаете коллизию - просто генерите новый UUID
AZ
если у вас хэш несоленый, без маппинговой таблицы, тогда мб проблема, но вы берите хэш побольше
AK
а что такое , Pythin, ?
OA
Я тоже задавал этот вопрос.
R
Это Путин