Size: a a a

2021 March 06

A

Alex in Data Engineers
Были у нас люди с яндекса в компании, от их рассказов "прекрасный svn" я долго спать не мог
источник

K

KrivdaTheTriewe in Data Engineers
а чо вы под скалу ничего не релизите
источник

K

KrivdaTheTriewe in Data Engineers
из интересного в опенсорс
источник

A

Alex in Data Engineers
Потому что много говна и палок :) что обычно никому не показывается
источник

GP

Grigory Pomadchin in Data Engineers
Alex
Вспоминая миграцию всей компании на 2.12 я могу лишь вспомнить
а какие блыи пробелмы с миграцией на 2.12?
источник

GP

Grigory Pomadchin in Data Engineers
тока либы?
источник

A

Alex in Data Engineers
в основном переезд между либами обновляться
плюс своих либ вагон, следовательно нужно было кросбилд настраивать везде
плюс в пару местах синтаксис в скале почистили, пришлось и его чистить
источник

A

Alex in Data Engineers
тот же постфикс нотации, но там всего по мелочи

по отдельности вроде как всё ок и немного,
но когда вместе начинаешь, то всё весело очень
источник

A

Alex in Data Engineers
KrivdaTheTriewe
из интересного в опенсорс
любой опенсорс подразумевает открытие только частей которые на инфру не завязаны + в перспективе работы по поддержке его
в случае когда внутри вагон своих библиотек и клиентов на внутренние сервисы, то нельзя просто так взять и удалить приватные части

а заниматься чисто опенсорсом никто время не выделяет
мобильщики что-то под андроид открывали, но там был отдельно фреймворк и его сразу когда дизайнили думали про опенсорс
источник

P

Pavel in Data Engineers
KrivdaTheTriewe
спарком пишем, есть пример записи
Ок, жесть, понял
источник

P

Pavel in Data Engineers
KrivdaTheTriewe
а чо вы под скалу ничего не релизите
Скала нахер помрет скоро)
источник

N

Nikita Blagodarnyy in Data Engineers
Pavel
Скала нахер помрет скоро)
источник

K

KrivdaTheTriewe in Data Engineers
Pavel
Ок, жесть, понял
почему жесть?
источник

P

Pavel in Data Engineers
KrivdaTheTriewe
почему жесть?
Если спарк уже есть в инфраструктуре, то еще более менее ок
источник

K

KrivdaTheTriewe in Data Engineers
а какая инфраструктура у спарка?
источник

GP

Grigory Pomadchin in Data Engineers
KrivdaTheTriewe
а какая инфраструктура у спарка?
СПАРК
источник

N

Nikita Blagodarnyy in Data Engineers
KrivdaTheTriewe
а какая инфраструктура у спарка?
серверы
источник

K

KrivdaTheTriewe in Data Engineers
Nikita Blagodarnyy
серверы
запускайте локально или в ярне, никуда ничего ставить не над
источник

GP

Grigory Pomadchin in Data Engineers
KrivdaTheTriewe
запускайте локально или в ярне, никуда ничего ставить не над
Локально спарк это же миссюз
источник

DZ

Dmitry Zuev in Data Engineers
Pavel
Коллеги, а кто как пишет из кафки на, например, S3 или (вдруг до сих пор!) на hdfs?
Флюм и кафку коннект не предлагать🙂
Alpaka + parquet4s
источник