GP
Size: a a a
2021 August 24
A
Ярн на кубере а внутри спарк
GP
Можно код покопать
GP
эх что за
A
Было же уже в хадуп чате
GP
пропустил)
GP
вобщем я занялся археологией; https://issues.apache.org/jira/browse/SPARK-25787 можно потыкать ссылки там все есть
не уверен что это портировали
не уверен что это портировали
ПФ
Чатик, кто может со мной поговорить про спарковые udf?
ПФ
Это "да"? Ежели да - я в личку приду
GP
Пиши тут
ПФ
Могу тут
ПФ
Нахера они нужны и как ими пользуются? В случае скалы/джавы особенно?
ЕГ
Если надо например быстренько спарсить миллиард сайтов
K
или для питона сделать
ЕГ
Кидаешь его в спарк, в юдфку, парсишь, получаешь миллиард джисонов
ПФ
А почему udf? Ты же можешь прямо функцию позвать спарковую, нет?
ПФ
Типа ты пишешь на скале, регистрируешь, а они в пайтон коде вызывают?