AA
День добрый. Если колонка представляет из себя бинарный отклик, как отобрать строки из датафрейма из последовательности первых единиц до перехода в 0?
Size: a a a
2019 April 01
PK
Эм, filter(f.col(col) == 1)
PK
Не очень понял, в чем задача
AA
+-------------------+---+- нужно отобрать первые две строки, так как после идёт переход в 0
| mean_rank|imp|
+-------------------+---+
|0.05280725520803114| 1|
| 0.1294739218746978| 1|
|0.33280725520803117| 0|
| 0.6828072552080311| 0|
| 0.9783628107635867| 1|
| 1.048362810763587| 1|
| 1.332807255208031| 0|
| 1.3594739218746976| 0|
| 1.3594739218746976| 0|
GP
Anton Alekseev
+-------------------+---+- нужно отобрать первые две строки, так как после идёт переход в 0
| mean_rank|imp|
+-------------------+---+
|0.05280725520803114| 1|
| 0.1294739218746978| 1|
|0.33280725520803117| 0|
| 0.6828072552080311| 0|
| 0.9783628107635867| 1|
| 1.048362810763587| 1|
| 1.332807255208031| 0|
| 1.3594739218746976| 0|
| 1.3594739218746976| 0|
а индекс какой
GP
или тут все рандомное
GP
если рандомное то в чем смысл задачи?
GP
или ты сортишь по ранку
AA
или тут все рандомное
Отсортировано по mean_rank
K
Оконные функции sql
K
Но вообще еслинцжно по всему датафрейму, то получается нужно посмотреть максимальное значение мин ранка при нуле
K
Или минимальное
K
И отсортировать что равно 1 и меньше(больше) макс значения
AS
Anton Alekseev
День добрый. Если колонка представляет из себя бинарный отклик, как отобрать строки из датафрейма из последовательности первых единиц до перехода в 0?
Можно взять mean_rank для первой строки с imp=0, и фильтрануть, оставив значения меньшe, чем этот mean_rank
AA
Окей, всем спасибо, буду пробовать.
AA
А это окно разве не будет коллектить все на драйвере?
D
А а с чего это окно коллектив на драйвер , в данном случае оно будет обработано в одной партиции
AA
Dima
А а с чего это окно коллектив на драйвер , в данном случае оно будет обработано в одной партиции
Значит я неправильно выразился, имел в виду это -
WARN org.apache.spark.sql.execution.Window: No Partition Defined for Window operation! Moving all data to a single partition, this can cause serious performance degradation.
D
df.withColumn("minRankFor0",min(when(col("imp")===0,col("mean_rank")).over().filter(col("minRankFor0" > col("mean_rank"))
D
Вернёт тебе первые две строки, если я правильно понял