Короче все оказалось проще я обосрался с типами, но почему то репл нормально сжирал а вот когда дело доходило до применения udf все разваливалось

Может репл грузит какой-нибудь имплисит, а ты нет

Там столько абстракций где может упасть что я не стал раскапывать, за даунгредился на 2 Спарк и зафигачил старый добрый фулл джар

Коллегам прийдется пострадать чуток, но не сильно

Коллеги, а кто ни будь может дать отзыв о вот этих курсах по Flink
https://www.ververica.com/training#schedule
Кроме того , что это курсы от организаторов конференции Flink Forward.
Или посоветовать любые другие хорошие курсы по Flink (на русском или на английском) в том числе и платные.

@Alex_D73 основные разрыбы флинка раньше имели имя data artisants, позже их купил alitech и переименовал в ververica
про курсы ничего не скажу, но они до сих пор основные комитеры во флинк

условно как датабрикс для спарка и конфлюент для кафки

Круто, спасибо, не знал!

Это ещё в заголовке страницы указано))

Кто же внимательно читает документацию 😊

Checkout this Meetup with Netherlands Apache Pulsar Meetup: https://meetu.ps/e/KjzZL/rv9vK/i

Скоро начнется

Может интересно кому

Есть тут работодатели, кто в поисках jun+/mid инженеров ?

Я б в джобсы пошёл, но там сбщ затеряется среди остальных.

Ты просто заходи туда днем. Меньше флуда.

сколько не заглядывал, там слишком густая "атмосфера индустрии" (для меня)

в жобс, Максим

Я фордварнул твое сообщение в джобсы. Надеюсь ты не против был.

спасибо

Привет всем,
Кто-то работал плотно со spark на AWS EMR?

Изучаю производительность, и есть интересное наблюдение, один и тот же запрос на локальном Спарке (master(“local[*]”) и данными в NFS отрабатывает гораздо быстрее, чем Спарк с данными в S3.

При этом Athena быстрее, но все равно latency в секундах, а не ms, как пишут.

Тут есть очень много вводных, но в целом, данные небольшие(мегабайты), и если все хранить в одном файле, то получается быстрее, но всё равно не топ:

Local Spark - 4 seconds
AWS EMR - 20 seconds
AWS HDFS - 11 seconds