Size: a a a

2019 August 21

GP

Grigory Pomadchin in Moscow Spark
2. не пихать самому нуллы в датаферймы / сеты
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Grigory Pomadchin
2. не пихать самому нуллы в датаферймы / сеты
я не пихул
источник

GP

Grigory Pomadchin in Moscow Spark
ну расскажи больше о том что у тебя; ты же понимаешь, что кидая этот стек трейс можно только сказать что спарк нагенерил плохой код
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Ну у меня джойнится тонна датасетов и датафреймов из разных источников
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Всюду где я могу педсказать наллы стоять Option
источник

GP

Grigory Pomadchin in Moscow Spark
и версию скалы
источник

ПФ

Паша Финкельштейн... in Moscow Spark
2.11 )
источник

GP

Grigory Pomadchin in Moscow Spark
и спарка
источник

ПФ

Паша Финкельштейн... in Moscow Spark
2.3.1
источник

GP

Grigory Pomadchin in Moscow Spark
а с табличкой какой работаешь? или не работаешь
источник

GP

Grigory Pomadchin in Moscow Spark
ну вообще там бага была в 2.3 связанная что иногда он нулабл поля не воспринимал как не нулабл
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Две таблички из оракла, одна из хайва, результат укладываю… неважно куда укладываю, NPE вылетает при любом раскладе — orc, parquet, hive
источник

ПФ

Паша Финкельштейн... in Moscow Spark
Grigory Pomadchin
ну вообще там бага была в 2.3 связанная что иногда он нулабл поля не воспринимал как не нулабл
О!
источник

ПФ

Паша Финкельштейн... in Moscow Spark
А как найти?
источник

GP

Grigory Pomadchin in Moscow Spark
я не знаю бага это или нет
источник

GP

Grigory Pomadchin in Moscow Spark
пример покажи запроса который бросает
источник

GP

Grigory Pomadchin in Moscow Spark
на лефт джойне валится?
источник

GP

Grigory Pomadchin in Moscow Spark
я помню это как ишшу у кассандра коннектора, где человек джойнил таблицы (обе с не нулабл полями) и делал лефт джойн для них что пораждало нуллы очевидно

суть была в том что лефт джойн разрешает нулы и спарк не генерил код который бы проверял нулл ли не нулабл поле
источник

AK

Alena Korogodova in Moscow Spark
Таблица-то заранее создана?
источник

GP

Grigory Pomadchin in Moscow Spark
да схемы бы и пример какойнить синтетический
источник