я помню это как ишшу у кассандра коннектора, где человек джойнил таблицы (обе с не нулабл полями) и делал лефт джойн для них что пораждало нуллы очевидно
суть была в том что лефт джойн разрешает нулы и спарк не генерил код который бы проверял нулл ли не нулабл поле