GP
или этот ds вообще не ты делал
Size: a a a
2019 August 21
GP
посмотри что в df.printSchema пишется по полям
ПФ
Ещё раз: слово null в коде не фигурирует, особенно в отношении датасетов. Там где идёт работа с датафреймами — есть две проверки рядом — isNull и isNotNull в фильтрах
ПФ
Но собсна теперь понятно что делать — в очередном кейсклассе попробовать этот city обернуть в Option
ПФ
И молиться
ПФ
Самое раннее что там происходит это
spark.table(table).selectAs[SomeClass]GP
Самое раннее что там происходит это
spark.table(table).selectAs[SomeClass]а тут то как все выглядит? принтани кортежи
GP
откуда нулы _точно_ выясни лучше прежде чем костыли лепить
ПФ
откуда нулы _точно_ выясни лучше прежде чем костыли лепить
Ну наллы там вполне законно находятся
ПФ
То есть там реально наллабл колонка
ПФ
Спасибо за debugCodegen, он релаьно помог
GP
То есть там реально наллабл колонка
а вот если бы ты схему дал
ты бы вместо 3 часов тут потратил бы минут 10 на составление примера
ты бы вместо 3 часов тут потратил бы минут 10 на составление примера
ПФ
а вот если бы ты схему дал
ты бы вместо 3 часов тут потратил бы минут 10 на составление примера
ты бы вместо 3 часов тут потратил бы минут 10 на составление примера
Так непонятно где искать же было )
ПФ
Ну то есть схем есть много
ПФ
скажем 8
ПФ
во всех из них данные в основном наллабл
ПФ
потому что такие данные
ПФ
Что было неочевидно: что вообще можно сконструировать Some, передав туда null.
ПФ
Котлин при попытке такое сделать кидает NPE на моменте конструирования
GP
Что было неочевидно: что вообще можно сконструировать Some, передав туда null.
вообще-то если ты глянешь тот жира тикет; там прям твой кейс расписан
лефт джойн; таблица справа с нулаблами
лефт джойн; таблица справа с нулаблами