она не обращается к фреймам?

да, там
def flight_splitter(rows_iterator):
   for row in rows_iterator:
   base_row = row.asDict()

и пошло-поехало

тоемть ты какойнить df.select там точно не делаешь ?

не, ща ещё раз проверил - датафреймов внутри не используется
только всякие разделения строк и добавления элементов в словарь

а этот словарь внутри функции ток существует?

да, если в кратце, то вот так

def flight_splitter(rows_iterator):
   for row in rows_iterator:
       base_row = row.asDict()

…
                 split_row = base_row.copy()
…
                 yield split_row

а чисто для примера
можешь этот флайт сплиттер убрать

и посмотреть упадет не?

ща попробую

Какое-то время назад я просил ребят в сообществе DE заполнить маленький опрос при подготовке к докладу на TechTrain. Доклад можно посмотреть по ссылке, а вот немножко статистики из опроса (я же обещал!)

Подавляющее большинство инженеров из больших и очень больших компаний, и облаков в России немного, а большинство это on-prem компоненты. Тут все очевидно было. Как и с языком программирования: почти половина пишет на Python, 30% на Scala и всего 9% на Java. Тоже предсказуемо.

А вот неочевидное:
1) Лишь 11% ответивших считают, что самый главный технический навык это ЯП, 36% за SQL и 43% за знание тулинга и фреймворков. Литкоднинужен?😁
2) Лишь 30% сразу начали заниматься DE, все остальные - перекатывались из другой сферы.
3) Топ-5 навыков это вообще боль. За 67 ответов их набежало >35 разнообразных. Аж на слайд все не поместились.

мужество и упорство очень хороший навык

Еще вот такой был “Понимание принципов блин даты, конкретный тулинг не важен”

А среди топ навыков был человек-нонконформист, совершенно противоположные ответы большинству

“Алгоритмы, потом языки, потом инфра”

BlinData😆

Возможно это был я, и t9