ПБ
Можно чуть подробнее пожалуйста, люблю бест практис))
Size: a a a
2021 October 08
ЕГ
Если указать массив колонок для джойна, то они сольются из одного датафрейма и другого
ЕГ
Не будет типа a.c1 и b.c1, а будет просто c1, общая
ЕГ
С точки зрения строк ничего не поменяется
ЕГ
В питоне всё равно вроде нельзя сделать null-safe джойн, или он наоборот там по умолчанию null-safe, не помню уже
ЕГ
В скале да, есть различия, типа a.c1==b.c1 или a.c1===b.c1
N
ДД
eqNullSafe() ?
ЕГ
ЕГ
[Это кластер хадупа, который исполняет]
ЕГ
👍
ПБ
Оч странно!
А если так
T1. Join (t2.c1=t1.c1)
.join(t2.c1=t1.c2)
Т.е. одну и туже таблицу t2 надо джойнить 2 раза по разным полям
Тогда ругается на дубликаты полей
А если так
T1. Join (t2.c1=t1.c1)
.join(t2.c1=t1.c2)
Т.е. одну и туже таблицу t2 надо джойнить 2 раза по разным полям
Тогда ругается на дубликаты полей
ПБ
Приходится делать 1 join потом ренейм, потом 2 join
ЕГ
Если по разным, то либо ренейм, либо как у тебя и потом селект всех колонок, кроме t1.c1, чтобы не было дубликатов колонок в паркете
ЕГ
На мой взгляд, ренейм проще)
ЕГ
Или даже не ренейм, а тут вообще надо создать колонку key, которой приводить нужный ключ
ЕГ
А то так можно некисло запутаться, что там с чем джойним и что в итоге получаем
ПБ
может так?
t1=table(x)
t2 =table(x)
t.join (t1).join(t2) ?
t1=table(x)
t2 =table(x)
t.join (t1).join(t2) ?
2021 October 09
Н
Привет, недавно наткнулся на статью https://habr.com/ru/post/579232/?utm_campaign=579232&utm_source=habrahabr&utm_medium=rss
Про так как организовывать проект с бизнес логикой.
Хочу у вас спросить, есть ли у вас ещё какие-нибудь полезные статьи, как организовать проект на pyspark в airflow и самое главное, как тесты организовать.
Про так как организовывать проект с бизнес логикой.
Хочу у вас спросить, есть ли у вас ещё какие-нибудь полезные статьи, как организовать проект на pyspark в airflow и самое главное, как тесты организовать.
GP
для пайспарка обычные юнит тесты пойдут 🤷