Size: a a a

2017 February 07

NK

ID:1373407 in Data Engineers
лучше паперы читать про фримонады и про то, что монады больше не нужны
источник

p

ptchol in Data Engineers
Grigory Pomadchin
сплит по причине превышения максайза у регинов?
а как это влияет на локалити ? ну сплитнуло, но могут же на одной ноде лежать.
источник

GP

Grigory Pomadchin in Data Engineers
будь я хбейз яб ребалансил все и хранил максимально сбалансировано
источник

GP

Grigory Pomadchin in Data Engineers
но я не хбейз
источник

GP

Grigory Pomadchin in Data Engineers
каждый сплит я думаю потеницально может вести к обмену данными; это лишь догадка

проверить просто увеличить размер сплита и не допускать сплита посмотреть что будет с параметром локалити
источник

p

ptchol in Data Engineers
A major compaction ensures that all data that is owned by a region server is local to that server.
источник

GP

Grigory Pomadchin in Data Engineers
ну это догадка не надо мне доку тыкать я знаю спс
источник

GP

Grigory Pomadchin in Data Engineers
и это не 100% правда
источник

GP

Grigory Pomadchin in Data Engineers
она пытаться будет
источник

p

ptchol in Data Engineers
так там данных не так много льётся чтобы после компакта мы тут же насплитили 60% данных
источник

GP

Grigory Pomadchin in Data Engineers
а какой размер сплита?
источник

p

ptchol in Data Engineers
region file size ? 1g
источник

GP

Grigory Pomadchin in Data Engineers
ммм ну вы запускаете компакцию
источник

GP

Grigory Pomadchin in Data Engineers
и все кусочки локально
источник

GP

Grigory Pomadchin in Data Engineers
однако там ходит демон который ребалансирует все
источник

p

ptchol in Data Engineers
там не демон
источник

p

ptchol in Data Engineers
это мастер может запускать ребаланс регионв по каким то причинам
источник

p

ptchol in Data Engineers
или периодически
источник

GP

Grigory Pomadchin in Data Engineers
каждые 5 минут он зпускает стохастический лоад балансер
источник

GP

Grigory Pomadchin in Data Engineers
ну проблем не будет если размер файла региона увеличить
источник