A
смотря что вы под макулатурой подразумеваете
Size: a a a
2020 December 18
A
в бранчах пусто у них
а вот в tags всё что нужно есть
а вот в tags всё что нужно есть
SS
оу-оу! спасибо, добрый человек! в теги-то и не смотрел
AZ
А ещё нужно учитывать версии orc и паркета и версии ридеров у джижков. Потому что фраза "сравнить pdo в orc и parquet" разворачивается а "сравнить эффективность pdo в ряде случаев на разных набора данных, а также при различнлм размазывании этих данных, с разными ключевыми версиями orc и parquet на разных ключевых версиях основных популярных фреймворках"
Это я все к тому, что это достаточно большое задание на самом деле.
Это я все к тому, что это достаточно большое задание на самом деле.
на курсовую в семестре вполне тянет, в этом и поинт
R
Товарищи, есть две таблички в спарке 2.4, хочется заджойнить первую с каждой из колонок во второй и потом сделать юнион всего этого всего.
Я сделал:
Но мне выдало нули. Обычный джойн работал (
Не подскажете, в чём может крыться причина?
Я сделал:
tab1.columns.map(column => tab2.join(tab1, $”col” === column)).reduce(_.union(_))Но мне выдало нули. Обычный джойн работал (
$”col” === $”col”).Не подскажете, в чём может крыться причина?
AL
потому что в условии джойна идет сравнение значения колонки со строкой:
tab1.columns - это массив строк, и поэтому условие $"col" === column превращается в невалидное по сутиR
Окей, а как это лучше всего исправить? Возможно, какую-то логику подскажете?)
R
Я просто новичок и не шарю(
N
а что вообще значит «заджойнить таблицу с каждой из колонок во второй»?
AL
а что вообще значит «заджойнить таблицу с каждой из колонок во второй»?
скорее, зачем
N
Можете на sql аналог нарисовать?
R
Ну tab1 это результаты предсказания разных алгоритмов (айдишники), в tab2 есть для них какие-то характеристики для каждого айдишника, я хочу померять их по каждому алгоритму
T
Товарищи, есть две таблички в спарке 2.4, хочется заджойнить первую с каждой из колонок во второй и потом сделать юнион всего этого всего.
Я сделал:
Но мне выдало нули. Обычный джойн работал (
Не подскажете, в чём может крыться причина?
Я сделал:
tab1.columns.map(column => tab2.join(tab1, $”col” === column)).reduce(_.union(_))Но мне выдало нули. Обычный джойн работал (
$”col” === $”col”).Не подскажете, в чём может крыться причина?
если без разбирательства зачем, то вам column над просто в колонку превратить на пример с помощью col(
column). Но вобще зачем это хороший вопрос конечноN
это типа
select * from t1 join t2 on t1.col=t2.col1 union all select * from t1 join t2 on t1.col = t2.col2
так что ли?
select * from t1 join t2 on t1.col=t2.col1 union all select * from t1 join t2 on t1.col = t2.col2
так что ли?
R
Так и есть
N
может проще второй unpivot сделать?
R
Я погуглю, что это, спасибо большое!
N
«превращение колонок в строки»
KS
Какое железо лучше подойдет для масштабирования Presto? Запросы уже по 24 часа тянутся...