Size: a a a

2021 October 19

GP

Grigory Pomadchin in Moscow Spark
ну давай попробую написать)) если не дадут то ладно)
источник

ПФ

Паша Финкельштейн... in Moscow Spark
попробуй )
источник

GP

Grigory Pomadchin in Moscow Spark
тока на конфу! так что да наверное куплю на жокир)
источник

ПФ

Паша Финкельштейн... in Moscow Spark
блин
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Ну тогда разве что билет покупать
источник

GP

Grigory Pomadchin in Moscow Spark
да и ладно) жалко конечно что не фри адмишн
источник

ПФ

Паша Финкельштейн... in Moscow Spark
видать в прошлом году был аукцион безумной щедрости и экспертам фуллпасы раздавали
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Ну приходи выступать в след. году
источник

ПФ

Паша Финкельштейн... in Moscow Spark
У нас хорошо жи )
источник

NN

No Name in Moscow Spark
Подтверждаю)
Заодно и Пашин доклад посмотрю 😏
источник

AN

Aleksey Nikolaev in Moscow Spark
Не похоже что тут есть какие то килерфичи против стандартного синка метрик. Сделано чтобы собирать метрики уровня таска? но зачем? Особенно с учетом ограничений в использовании.
источник

MM

Maxim Miholap in Moscow Spark
вообщем попробывал просто исключить gcs-connector с зависимостей и проблема пропала… но нюанс в том что он мне нужен)
источник

t

tenKe in Moscow Spark
@asm0dey @pomadchin я туплю или вот такие экспрешены (to_json как пример, можно взять любой из spark.sql.functions._) по факту создаются на каждую строчку в данных?
case class StructsToJson(
   options: Map[String, String],
   child: Expression,
   timeZoneId: Option[String] = None)
 extends UnaryExpression with
TimeZoneAwareExpression with CodegenFallback with ExpectsInputTypes {
 override def nullable: Boolean = true


я чот добавил логов в конструктор и там явно не один раз на датафрейм, даже не один раз на партицию
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Мне кажется что они должны генерироваться в исходниках
источник

ПФ

Паша Финкельштейн... in Moscow Spark
А значит вызываться на каждую строку
источник

t

tenKe in Moscow Spark
не обязательно
источник

t

tenKe in Moscow Spark
можно сделать экспрешен через кодген, а можно - через nullSaveEval и обычную скалу
источник

t

tenKe in Moscow Spark
вот тут непонятно чот
источник

t

tenKe in Moscow Spark
там же в случае кодгена просто создание шаблона с жава кодом, в который потом будут добавлены всякие значения
источник

t

tenKe in Moscow Spark
тот же to_json сделан в спарке без кодгена вроде как
источник