Ну значит надо по ключу джойна разложить, по хэшу по модулю от ключа

Партиции именно

Или бакетинг

Согласен, надо курить, читать, тестить: из коробки быстро не работает. Даже если ресурсы напихать🙈

Стоп, а один хрен все данные читать

Вопрос только будет шафл или нет

А во второй табличке тоже терабайты?

Да условно заголовки чеков и детали чека. В заголовках есть дата. Но детали все равно сканируются все даже с inner join

Возьми из одной таблицы даты и фильтрани другую таблицу на эти даты руками

Опять же, если заголовки всех чеков, то наверно они поджойнятся со всеми деталями всех чеков

Если не всех и не за все даты, то такая ручная оптимизация даст ускорение

Спасибо, попробую)
<iframe src="https://paiza.io/projects/e/P6asYUBa-Uf-B_MyDIvxew?theme=twilight" width="100%" height="500" scrolling="no" seamless="seamless"></iframe>

Почему спарк требует группировку, когда пытаюсь достать одно значение по одной колонке?
Хочу новую колонку добавить через withColumn
*(when(conditions),
datediff(max($”a.date1”), $”date2”))*

Потому что max - в данном случае функция, которая относится ко всей таблице

Это отдельный подзапрос, спарк не позволяет выполнить запрос в запросе

Не особо понимаю, как мне тогда это обойти, учитывая, что мне надо именно с фильтрами это делать
Нельзя один раз в коллекте рассчитать и использовать
Для каждого поля свой Макс должен быть

А, тогда это не макс, а greatest

Из 2 значений же надо большее выбрать?

​​💻Современные цифровые технологии, комплексно сочетающие хакерство, deep fake и fake news (HDFN-технологии), могут быть применены, чтобы спровоцировать внутриполитические и международные конфликты, выводя традиционные операции под чужим флагом (False flag) на качественно новый уровень.📱

👉Особенно если удастся, наряду с этим, перехватить управление общественными, экономическими или другими структурами противника, чьи действия или бездействие в критический момент будут «подтверждать» HDFN-провокацию.

💡Поскольку уведомление о таких угрозах отчасти озвучена на официальном уровне пресс-секретарем Президента Дмитрием Песковым, следует предположить, что возможность таких попыток (либо их подражаний) уже в ближайшее время довольно велика.

Нет
Есть две таблицы
Я их джойню по каким-то условиям потом надо
Из одной таблицы надо взять мах(date1)
Из второй таблицы просто  date2
Записать разницу в днях в новую колонку