v
Честно, мне просто привычнее делать навигацию когда мне говорят "можешь поправить код где добавляются такие-то id" и я делаю в IDE команду "перейти к функции add_ids"
Size: a a a
2022 January 16
v
Блин, чувствую себя слепым. Надо быстренько потестить и если это то, что мне надо, заменить этим костыль с rank.
ЕГ
Функция rank тоже существует и не эквивалентна row_number, так что во избежание недоразумений, и просто из соображений лени, рекомендую называть колонку rn)
v
Ну если first() будет выбирать первую строчку из окна, то новая колонка и нужна не будет )
ЕГ
Ну он не строчку, только колонку
ЕГ
Но можно несколько функций по одному окну сделать
v
А, тогда не то
Условно говоря мне из
a, x, 1, 0
b, y, 2, 0
c, z, 2, 1
Нужно получить [c, z]
Условно говоря мне из
a, x, 1, 0
b, y, 2, 0
c, z, 2, 1
Нужно получить [c, z]
v
хотя мб что-то вроде agg(first(abc).over(window), first(xyz).over(window))
Но там много колонок и мне сложно сказать, как будет лучше.
Но там много колонок и мне сложно сказать, как будет лучше.
v
ЕГ
Агг это агрегат после группировки
ЕГ
Оконка не работает в группировке
SI
Просто селект а не агг
v
А, теперь понятно.
Это будет эффективнее, чем конструкция с
df = df.select([first(col(colname)).over(window) for colname in df.columns])Это будет эффективнее, чем конструкция с
df = df.withColumn('rn', row_number().over(window)).filter(col('rn') == 1).drop('rn')?ЕГ
Неа
v
Хотя блин, все равно какая-то фигня выходит. Видимо не понял принцип.
2022 January 18
G
Народ. Приветствую всех.
Есть возможно простой но для меня не очевидный вопрос. Как организовать автотестирование приложения со spark процессами. Проблема мне видется в том, что при тестировании требуется доступ к данным для покрытия различных кейсов а если на этапе CI доступа к этим данным нет или их некуда разместить поскольку их много.
Есть возможно простой но для меня не очевидный вопрос. Как организовать автотестирование приложения со spark процессами. Проблема мне видется в том, что при тестировании требуется доступ к данным для покрытия различных кейсов а если на этапе CI доступа к этим данным нет или их некуда разместить поскольку их много.
ЕГ
Сэмплы кусочками паркета/csv+json_schema тащить в гит
ИК
Данные в csv для конкретных кейсов в юнит-тестах, генерация датафреймов с помощью scala.util.Random (сидированный) для аксептанс-тестов
G
С unit тетами от части да - сделали json и прогоняем на них кейсы.
А вот с папом не понятно.
А вот с папом не понятно.
G
Тут надо протестировать не только сам spark etl но и связанность нескольких etl