GP
2. не пихать самому нуллы в датаферймы / сеты
Size: a a a
2019 August 21
ПФ
2. не пихать самому нуллы в датаферймы / сеты
я не пихул
GP
ну расскажи больше о том что у тебя; ты же понимаешь, что кидая этот стек трейс можно только сказать что спарк нагенерил плохой код
ПФ
Ну у меня джойнится тонна датасетов и датафреймов из разных источников
ПФ
Всюду где я могу педсказать наллы стоять Option
GP
и версию скалы
ПФ
2.11 )
GP
и спарка
ПФ
2.3.1
GP
а с табличкой какой работаешь? или не работаешь
GP
ну вообще там бага была в 2.3 связанная что иногда он нулабл поля не воспринимал как не нулабл
ПФ
Две таблички из оракла, одна из хайва, результат укладываю… неважно куда укладываю, NPE вылетает при любом раскладе — orc, parquet, hive
ПФ
ну вообще там бага была в 2.3 связанная что иногда он нулабл поля не воспринимал как не нулабл
О!
ПФ
А как найти?
GP
я не знаю бага это или нет
GP
пример покажи запроса который бросает
GP
на лефт джойне валится?
GP
я помню это как ишшу у кассандра коннектора, где человек джойнил таблицы (обе с не нулабл полями) и делал лефт джойн для них что пораждало нуллы очевидно
суть была в том что лефт джойн разрешает нулы и спарк не генерил код который бы проверял нулл ли не нулабл поле
суть была в том что лефт джойн разрешает нулы и спарк не генерил код который бы проверял нулл ли не нулабл поле
AK
Таблица-то заранее создана?
GP
да схемы бы и пример какойнить синтетический