Size: a a a

2021 September 10

ЕГ

Евгений Глотов... in Data Engineers
По сути
источник

AZ

Anton Zadorozhniy in Data Engineers
Там нет хадупа
источник

ЕГ

Евгений Глотов... in Data Engineers
Ну есть несколько нод с мусоркой из доков)
источник

ЕГ

Евгений Глотов... in Data Engineers
Шо то, шо это)
источник

AZ

Anton Zadorozhniy in Data Engineers
Там куча разных штук вокруг понаписана, мб есть и оркестратор
источник

AZ

Anton Zadorozhniy in Data Engineers
Базовый интерфейс там не объектный сторадж, а старый добрый люсиновский индекс
источник

AZ

Anton Zadorozhniy in Data Engineers
По этой логике и кликхауз это хадуп
источник

h

helby in Data Engineers
Понял

А то у нас на работе появилась, курю доки, но раньше просто не слышал
источник

GP

Grigory Pomadchin in Data Engineers
кстати - забыл отрепортить; пер партишен более чем удовлетворительный перформанс
источник

GP

Grigory Pomadchin in Data Engineers
и нет проблем с тредами (ну это логично)
источник

ИК

Иван Калининский... in Data Engineers
Радует 👍
источник

ИК

Иван Калининский... in Data Engineers
На самом деле вы и все остальные мне подсказываете ответы, нужно только запоминать. Месяц назад что-то было про per executor))
источник

GP

Grigory Pomadchin in Data Engineers
per executor это сессии))
источник

GP

Grigory Pomadchin in Data Engineers
ну я сейчас сериализаторы пер ехекутор храню)
источник

GP

Grigory Pomadchin in Data Engineers
там изза мммм
источник

GP

Grigory Pomadchin in Data Engineers
легаси спарка 2)
источник

GP

Grigory Pomadchin in Data Engineers
и какихто велосипедов которые выпилил)
источник

GP

Grigory Pomadchin in Data Engineers
там типо интересный момент
было много всяких экспрешонов в проекте
и хотелось что бы они были в определенном смысле полифморными

а это трудно достичь потому что внутренее представление у всех разное
источник

GP

Grigory Pomadchin in Data Engineers
и рибята придумали экстракторы полимфорные)

из InternalRow выгребать нужные ток колонки кривыми ‘линзами’ спомощью ScalaUDFок примененых перед применением экспрешона
источник

GP

Grigory Pomadchin in Data Engineers
источник