с одной учётки

раньше такого лимита не было точно (лет 5 назад).. особенно если использовать execute на их стороне

Использовал с flink раннером

На гугл датафлоу нету опыта

Флинк раннер многие вещи реализовывет, но были местами посадки по производительности, так как первичный фокус у них сделать фичи чтобы все по спеке было, а потом уже допинывать производительность

С @santaatnas выяснили что датафлоу стейты некоторые хуже флинка тянет

State is supported for non-merging windows. SetState and MapState are not yet supported.

Но и сам флинк до фига лишних сериализации делает для стейтов, 1.5 года назад они в gc под нагрузкой быстро загоняли (с rocksdb бекендом)

Питон3 ещё только в мастере и не полная поддержка.

Среди ранеров питона только dataflow и flink уже вроде как прод реди (по крайней мере lyft на докладах говорили что с флинкранером в проде гоняют)

Сам апи понравился, при необходимости какие сторонние дсл на нем можно норм кидать, ведь по хорошему только apply и есть, без всяких map/reduce, главное с типами не запутаться

то есть спарк раннер не алё?

апплай я вообще не пнимаю почему там пишут, можно же лямбды использовать, код сразу чще станет

Спарк ранер говно и палки был, так как плохо вписывался в их лайфсайкл, плюс ранены зачастую делали сами разрабы систем, датабрикс демонстративно забил

Были подвижки что на страктуред стриминге можно сделать лучше чем на старом рдд и батчах

Где-то с пол года назад чуть активизировались и взяв за основу портабл процессор от флинка пытаются его к спарку прикрутить

Датабрикс не заинтересован плодить конкурентов :) поэтому даже тот ранер что и есть первоначально делался клоудерой (первичный ранер для флинка вкомитил гугл).

Что-то пейпел в спарк раннер кидал, но не сильно много.

Из плюсов в биме сильно понравился апи стейтов, после них на стейты в спарке без слез смотреть нельзя

Ну апплай это же лишь интерфейс :) можно и лямбду пихать

云飞扬 din has been banned! Reason: CAS ban.

А где же "Я САМ АГГИТЕГТОГ"

если официально по должности, но первый вариант

у нас в конторе (до того как ее купила большая контора) всех архитекторов называли принципал инженерами (архитектор была роль в проекте), потому что если архитектор не умеет делать руками - нам такой не нужен, а если умеет - то он наверное больше инженер чем архитектор))

А какие впечатления от кровавого энтерпрайса? Там тоже так? Я пока таких не видел :( но я молод и зелен

таких это каких?

которые руками что-то могут

Есть такие

И весьма клевые ребята

вот я такой, лет 15 как архитектор и еще могу руками) и у нас штук 5 таких на европу

И все в Пражской терадате?)

у нас VP of dataplatform тоже норм может код поковырять и регулярно набрасывает

правда у него на это времени зачастую не хватает =)