Size: a a a

2021 May 18

GP

Grigory Pomadchin in Data Engineers
давай другой пример
источник

t

tenKe in Data Engineers
а причем тут кодогенерация?
источник

ПФ

Паша Финкельштейн... in Data Engineers
У тебя npe будет в сгенерированном коде
источник

t

tenKe in Data Engineers
jdbc это не когогенерация
источник

t

tenKe in Data Engineers
паркет это не кодогенерация
источник

GP

Grigory Pomadchin in Data Engineers
лушче бы пример конкретный кода
источник

GP

Grigory Pomadchin in Data Engineers
мож трансформации там какието
источник

ПФ

Паша Финкельштейн... in Data Engineers
Ага, а вот npe будет при перекладывании оттуда сюда в сгенерированном коде
источник

t

tenKe in Data Engineers
типа если в схеме df оно не nullable?
источник

ПФ

Паша Финкельштейн... in Data Engineers
Условно говоря в case class у тебя Int, а в БД null почему-то внезапно
источник

GP

Grigory Pomadchin in Data Engineers
схема не правильная
источник

ПФ

Паша Финкельштейн... in Data Engineers
Но ты ожидаешь что там non null
источник

ПФ

Паша Финкельштейн... in Data Engineers
Спасибо, кэп
источник

K

KrivdaTheTriewe in Data Engineers
скорее при джойне нулы могут возникнуть)
источник

GP

Grigory Pomadchin in Data Engineers
ды обычно такое понятно что нулы
источник

GP

Grigory Pomadchin in Data Engineers
зачем в кодоген идти
источник

ПФ

Паша Финкельштейн... in Data Engineers
И так может быть, да. Null после left join
источник

ПФ

Паша Финкельштейн... in Data Engineers
А как понять в каком поле-то?
источник

ПФ

Паша Финкельштейн... in Data Engineers
Спарк не пишет
источник

ПФ

Паша Финкельштейн... in Data Engineers
У тебя там потенциально сколько угодно полей в бд
источник