GP
ну давай попробую написать)) если не дадут то ладно)
Size: a a a
2021 October 19
ПФ
попробуй )
GP
тока на конфу! так что да наверное куплю на жокир)
ПФ
блин
ПФ
Ну тогда разве что билет покупать
GP
да и ладно) жалко конечно что не фри адмишн
ПФ
видать в прошлом году был аукцион безумной щедрости и экспертам фуллпасы раздавали
ПФ
Ну приходи выступать в след. году
ПФ
У нас хорошо жи )
NN
Подтверждаю)
Заодно и Пашин доклад посмотрю 😏
Заодно и Пашин доклад посмотрю 😏
AN
Не похоже что тут есть какие то килерфичи против стандартного синка метрик. Сделано чтобы собирать метрики уровня таска? но зачем? Особенно с учетом ограничений в использовании.
MM
вообщем попробывал просто исключить gcs-connector с зависимостей и проблема пропала… но нюанс в том что он мне нужен)
t
@asm0dey @pomadchin я туплю или вот такие экспрешены (to_json как пример, можно взять любой из spark.sql.functions._) по факту создаются на каждую строчку в данных?
я чот добавил логов в конструктор и там явно не один раз на датафрейм, даже не один раз на партицию
case class StructsToJson(
options: Map[String, String],
child: Expression,
timeZoneId: Option[String] = None)
extends UnaryExpression with TimeZoneAwareExpression with CodegenFallback with ExpectsInputTypes {
override def nullable: Boolean = trueя чот добавил логов в конструктор и там явно не один раз на датафрейм, даже не один раз на партицию
ПФ
Мне кажется что они должны генерироваться в исходниках
ПФ
А значит вызываться на каждую строку
t
не обязательно
t
можно сделать экспрешен через кодген, а можно - через nullSaveEval и обычную скалу
t
вот тут непонятно чот
t
там же в случае кодгена просто создание шаблона с жава кодом, в который потом будут добавлены всякие значения
t
тот же to_json сделан в спарке без кодгена вроде как