R
Скажем в исходном паркетном файле 30 полей, я хочу прочесть 5 в датасет (чтобы был column subset optimization и не надо было весь паркет читать, а только нужные колонки. Видимо мне нужно будет сначала селект прогнать, а потом каст в датасет?
Size: a a a
2019 June 11
R
Тут ещё вопрос - достаточно ли умный оптимизатор в Спарке чтобы увидеть что на входе у меня два источника с 30 и 20 колонками, а на выходе я пишу 3 колонки из одного и 2 из другого и не читать все остальное с диска - как бы это проверить?
IK
может взять источники прочитать все(или много) колонок и тригернуть расчет датасета сказав .count(); потом взять мало колонок и тоже сказать .count(). посмотреть резницу метрик в ui. Норм?
R
может взять источники прочитать все(или много) колонок и тригернуть расчет датасета сказав .count(); потом взять мало колонок и тоже сказать .count(). посмотреть резницу метрик в ui. Норм?
ага, вот такой тест сейчас как раз гоняю - хочу посмотреть
GP
Сап чат. Вопрос - как при касте
Скажем, я делаю:
Но на выходе последнее поле все равно сохраняется:
DataFrame -> Dataset делать подвыборку полей?Скажем, я делаю:
case class TransactionTest(id: Long, time: String, value: String)
val transactionDS = spark.sparkContext.parallelize(Seq(
(1,"t1","v1","av1"),
(2,"t1","v1","av2"),
(3,"t3","v1","av1")
)).toDF("id","time","value","another_value").as[TransactionTest]
Но на выходе последнее поле все равно сохраняется:
transactionDS.showДает:
+---+----+-----+-------------+Хотелось бы чтобы .as каст отсекал ненужные поля - как это правильно сделать?
| id|time|value|another_value|
+---+----+-----+-------------+
| 1| t1| v1| av1|
| 2| t1| v1| av2|
| 3| t3| v1| av1|
+---+----+-----+-------------+
Похоже только селект конкретных полей
AB
пандус
Очень сильное утверждение. Мы из примерно 100 кандидатов за год предложение сделали только пятерым.
DZ
Вы большие молодцы. Разумно отнеслись к найму потратив 100 кандидато часов на найм 5 человек
OП
Очень сильное утверждение. Мы из примерно 100 кандидатов за год предложение сделали только пятерым.
без обид, просто шутка)
GG
Вы большие молодцы. Разумно отнеслись к найму потратив 100 кандидато часов на найм 5 человек
возможно, что и больше
GG
не включены - длинные собесы (по 2 часа) и время на доставку кандидата (вряд ли прям всех по скайпу опрашивали)
AB
Вы большие молодцы. Разумно отнеслись к найму потратив 100 кандидато часов на найм 5 человек
Спасибо, стараемся :) Пандус - это про какую-то абстрактную команду в вакууме, Сбер все-таки очень большой.
DZ
Ну сбер теперь кузница ии всея Руси
ВН
Ну сбер теперь кузница ии всея Руси
как и блокчейна?))))
DZ
Да не, вроде Герман Оскарович сказал что это была ошибка
DZ
Спасибо, стараемся :) Пандус - это про какую-то абстрактную команду в вакууме, Сбер все-таки очень большой.
Ну я думаю, что в Сбере есть норм тимы. Но 5/100 это провал найма
A
Смеюсь в голос :)
A
Из тех кто пришёл на первое интервью до офера доходит 1 из 50
GG
они убегают раньше, ога
A
Первых пару интервью по скайпу, потом на face to face поездка в Бангкок, по результатам делаем или нет офер
A
Но нужно учесть что много индусов на первом отсеивается