ЕГ
Иногда без него не обойтись, например, чтобы получить список всех колонок датафрейма, вот это уже косяк спарка
Size: a a a
2021 September 02
AS
ошибка сверху из-за того что люди не понимают что withColumn возвращает новый датафрейм, они датасайентисты вообще страдают из-за нехватки inplace=True
ЕГ
Что нет функции all_columns или типа того
A
опять сейчас откроются врата ада по поводу поддержки sql
ЕГ
Лишние присвоения это конечно не ошибка, но они усложняют в итоге жизнь
АЖ
А в каких случаях он схему не всю отдает?
ЕГ
Особенно на питоне, когда одной и той же переменной по 100500 раз идёт переприсваивание
ЕГ
Я имею в виду, если мне нужно взять например колонки без буквы ZU в названии
DT
Писать названия колонок неявно - это бэд практис
ЕГ
Придётся сделать df = ...
filter(not zu, df.columns)
filter(not zu, df.columns)
ЕГ
У меня была витрина на 3500 метрик с автогенерацией из пивота, я бы посмотрел, как ты её на sql будешь писать😆
DT
Здесь надо подумать о том, чтоб сократить их
DT
Там явно что-то повторяется или очень близко по смыслу
АЖ
ааа
я просто прям запаниковал, что где-то в ресерче ребята на схеме могут подорваться
я просто прям запаниковал, что где-то в ресерче ребята на схеме могут подорваться
ЕГ
Вы может там хранилища строите, а мы бустинг обучали, нам нужно было по категориям всё распилить
ЕГ
Чтоб выяснить, какая категория больше влияет на результат
DT
А, это про дс....
ЕГ
А какой смысл делать де без дс? Деньги-то откуда брать?
DT
Для аналитики
DT
Для иот