Size: a a a

2021 February 28

MK

Mikhail Kuznetsov in Data Engineers
вроде месяц-два до 3 скалы, хотели в конце февраля уже релизнуть
источник

K

KrivdaTheTriewe in Data Engineers
Mikhail Kuznetsov
вроде месяц-два до 3 скалы, хотели в конце февраля уже релизнуть
Там ещё синтаксис меняют , так что я бы не рассчитывал
источник

MK

Mikhail Kuznetsov in Data Engineers
они обещаниями с сентября 20 кормят) вот мол в следующем месяце то уж точно
источник

K

KrivdaTheTriewe in Data Engineers
На что то стабильное
источник

M

Mino in Data Engineers
KrivdaTheTriewe
Но. Про 4 издание не слышал
Там скала 2.13.1
источник

A

Alex in Data Engineers
KrivdaTheTriewe
Спарк на ней уже вроде тестовые сборки запускали
Запускали на 2.13, но нарвались на баг скала компилятора, про 3ю я тикетов ещё не видел
источник

A

Alex in Data Engineers
Правда когда это дойдёт до продакшена вообще хз
источник

A

Alex in Data Engineers
Тот же livy если хочешь 2.12 в спарке то будь добр собирай из мастер ветки
источник

A

Alex in Data Engineers
Поэтому правильно говорить что в хадупе и спарке местами уже 2.12 появилась
источник

GP

Grigory Pomadchin in Data Engineers
Alex
Запускали на 2.13, но нарвались на баг скала компилятора, про 3ю я тикетов ещё не видел
до миграции Дотти на стдлиб 2.13 все работало под ней (спецом фиксили дотю что бы проблем не было)
источник

GP

Grigory Pomadchin in Data Engineers
Баг компилятора пофиксили, 3.2 должен быть с 2.13
источник

A

Alex in Data Engineers
Таргет стоит 3.2
Но пока работы ведутся, посмотрим успеют или нет
источник

GP

Grigory Pomadchin in Data Engineers
ну 3.2 планируется летом
источник

АР

Андрей Романов... in Data Engineers
у флинка, кстати, тоже идёт работа над 2.13


https://issues.apache.org/jira/plugins/servlet/mobile#issue/FLINK-13414
источник

СХ

Старый Хрыч... in Data Engineers
кстати а юзает кто для флинка кубер оператор?
источник

СХ

Старый Хрыч... in Data Engineers
на сколько лучше, хуже, чем если через yarn?
источник

A

Alex in Data Engineers
Флинк в основном для стриминга, поэтому ему диски не так критичны, поэтому в кубике норм живёт
источник

СХ

Старый Хрыч... in Data Engineers
Alex
Флинк в основном для стриминга, поэтому ему диски не так критичны, поэтому в кубике норм живёт
ну я планирую в scylla метаданные флинков перенести а сами флинки в кубер, сейчас у нас 500 флинков
источник

СХ

Старый Хрыч... in Data Engineers
и ещё 150 скоро добавятся, когда flume до конца выпилим
источник

СХ

Старый Хрыч... in Data Engineers
вот и возник вопрос, что в yarn они живут на 130 нодах спокойно, а вот как будут жить на 6 нодах куба - вопрос
источник