Кто-нибудь может рассказать как в pyspark происходит магия исполнения питон кода? Мой коллега думает, что на каждом ноде выполняется питон интерпретатор и настаивает на
def main():
blah
if __name__ == "__main__":
main()
Это уже написано в пайспарк-коде запуска UDF, писать это в пользовательском коде неправильно, там должна быть только непосредственно функция, зарегистрированная как UDF, она передаётся в качестве коллбэка