Size: a a a

2021 October 07

ПФ

Паша Финкельштейн... in Moscow Spark
Я имел в виду в конкретной библиотеке. Для неё вариант хороший, кажется
источник

Е

Евгений in Moscow Spark
Привет, кто-нибудь подскажет как можно достать имя переменной spark df в виде строки? Хочу переименовать колонки чтобы они назывались dfname_colname
источник

ПФ

Паша Финкельштейн... in Moscow Spark
В смысле есть val df1 = и надо добыть текст "df1"?
источник

Е

Евгений in Moscow Spark
да, только в питоне
источник

ЕГ

Евгений Глотов... in Moscow Spark
источник

Е

Евгений in Moscow Spark
спасибо, то что нужно
только там на v == my_var можно стрельнуть себе в ногу, надо v is my_var
источник

DZ

Dmitry Zuev in Moscow Spark
decline:
object HelloWorld extends CommandApp(
 name = "hello-world",
 header = "Says hello!",
 main = {
   val userOpt =
     Opts.option[String]("target", help = "Person to greet.")
       .withDefault("world")

   val quietOpt = Opts.flag("quiet", help = "Whether to be quiet.").orFalse

   (userOpt, quietOpt).mapN { (user, quiet) =>

     if (quiet) println("...")
     else println(s"Hello $user!")
   }
 }

мне кажется даже внешне почти clikt, но конечно же никакой рефлексии
источник

GP

Grigory Pomadchin in Moscow Spark
так аппликативно кстати
источник

DZ

Dmitry Zuev in Moscow Spark
ну так деклайн с хаскелевого аппликативного парсера писался
источник

DZ

Dmitry Zuev in Moscow Spark
не знаю насколько аппликативный парсер верно
источник

GP

Grigory Pomadchin in Moscow Spark
интерфейс аппликативный все верно
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Очень хорошо!
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Только некрасиво что имена надо писать явно
источник

ПБ

Повелитель Бури... in Moscow Spark
очень понравился вариант с repartition(1 ,ключ) + bucketBy(100, ключ)
Может я что то упускаю?
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Но прямо норм
источник

AS

Andrey Smirnov in Moscow Spark
Где же ты был раньше, но с другой стороны, я же айти боярин, могу позволить себе за полную стоимость :)
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Ну я же писал! Много раз, в разных чатах
источник

AS

Andrey Smirnov in Moscow Spark
Ну вот я смотрю закреп в датаинженерах, там этого нет, ты же не последний человек в нашем айти сообществе, мог бы попросить добавить это там. Но повторюсь, от меня не убудет, купил так купил, а так информация о скидке поможет другим.
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Сорри. Я не очень люблю просить что-то закрепить, честно говоря. В моём воображении люди сами бы увидели, наверное. Но я конечно не прав
источник

AS

Andrey Smirnov in Moscow Spark
Кто ищет, тот всегда найдёт, тут спору нет. Я просто предлагаю посмотреть на это глазами людей которые не постоянно в чатах сидят, запрос на daily summary in datajobs не просто так появился :)
источник