UD
В драйверхост айпишку ната, но он должен быть 1 в 1 ( по трансляциям)
Size: a a a
2020 January 10
UD
А лучше попинайте админов, чтобы граничный сервер дали и впн в него
JS
В драйверхост айпишку ната, но он должен быть 1 в 1 ( по трансляциям)
вот да
JS
А лучше попинайте админов, чтобы граничный сервер дали и впн в него
и да
JS
спасибо всем! )
2020 January 11
A4
во время shuffle числовые данные сортируются по возрастанию?
A4
или вообще не сортируются?
DA
или вообще не сортируются?
Таки суть shuffle всегда была в том, чтобы перемешать данные, а не отсортировать их. Или я чего проспал?...
A4
Таки суть shuffle всегда была в том, чтобы перемешать данные, а не отсортировать их. Или я чего проспал?...
возможно я путаю понятия. В общем был этап, где идет группировка по ключу.
A4
есть-ли там сортировка числовых значений по порядку?
DA
возможно я путаю понятия. В общем был этап, где идет группировка по ключу.
Вероятнее всего да, чего-то напутали. И вероятнее всего стоит почитать доку по той системе и методам о которых сейчас идет речь :)
DA
есть-ли там сортировка числовых значений по порядку?
В SQL группировка отдельно, сортировка отдельно. Вероятно такое поведение свойственно не только SQLю, но это опять же все в доке должно быть описано
A4
речь шла о Hadoop)
A
Таки суть shuffle всегда была в том, чтобы перемешать данные, а не отсортировать их. Или я чего проспал?...
Суть шафла перемешать между партициями, но в пределах одной шафл партиции сортировка есть
В хадупе точно, в спарке насколько помню тоже
Это позволяет делать sort merge на стороне reducer, без необходимости полного вытягивания всех данных и повторной сортировки-группировки
В хадупе точно, в спарке насколько помню тоже
Это позволяет делать sort merge на стороне reducer, без необходимости полного вытягивания всех данных и повторной сортировки-группировки
t
в спарке шафл не сортирует данные внутри партиций. Если бы он сортировал, то в сортмержджойне в физическом плане отсутствовал оператор сортировки
Да и если посмотреть класс Partitioner (от которого наследуются RoundRobinPartitioner и HashPartitioner), то там ничего про сортировку нет
Да и если посмотреть класс Partitioner (от которого наследуются RoundRobinPartitioner и HashPartitioner), то там ничего про сортировку нет
SZ
в спарке шафл не сортирует данные внутри партиций. Если бы он сортировал, то в сортмержджойне в физическом плане отсутствовал оператор сортировки
Да и если посмотреть класс Partitioner (от которого наследуются RoundRobinPartitioner и HashPartitioner), то там ничего про сортировку нет
Да и если посмотреть класс Partitioner (от которого наследуются RoundRobinPartitioner и HashPartitioner), то там ничего про сортировку нет
как сказать... по-умолчанию с какой-то там версии спарка используется sort-based shuffle manager.
и еще настройка есть
и в интернетах пишут
и еще настройка есть
spark.shuffle.sort.bypassMergeThreshold, которая вот про чтоIn the sort-based shuffle manager, avoid merge-sorting data if there is no map-side aggregation and there are at most this many reduce partitions.
и в интернетах пишут
If map-side combine is required, data will be sorted by key and partition for aggregation. Otherwise, data will only be sorted by partition.
IR
ребят видели?
IR
DN
Когда уже в диджитал будут платить как в среднем по стране🧐
V
Когда уже в диджитал будут платить как в среднем по стране🧐
Зачем тебе это?