Size: a a a

2020 December 02

R

Rodion in Data Engineers
заработало
источник

R

Rodion in Data Engineers
а что можно в целом почитать на эту тему?
источник

GP

Grigory Pomadchin in Data Engineers
Наверное только дока https://github.com/sbt/sbt-assembly#merge-strategy

остальное оно касается просто конкретных библиотек - типа что используют и какие подходы / паттерны для разработки либ
источник

GP

Grigory Pomadchin in Data Engineers
ну тип то что в META-INF/services обычно пихаются SPI манифесты https://github.com/apache/spark/blob/master/mllib/src/main/resources/META-INF/services/org.apache.spark.sql.sources.DataSourceRegister
источник

GP

Grigory Pomadchin in Data Engineers
да и в целом там часто всякая требуха такая валяется
источник

R

Rodion in Data Engineers
я скорее про сборку в целом, понимаю что сейчас вообще нет понимания процесса, что откуда берется и тд
источник

GP

Grigory Pomadchin in Data Engineers
ааааа
источник

GP

Grigory Pomadchin in Data Engineers
ну sbt-assembly смотри плагин)) в целом он просто берет все твои зависиомсти и пихает в одну жарку; мержит
источник

GP

Grigory Pomadchin in Data Engineers
Переслано от Andrey Siunov
источник

ME

Mikhail Epikhin in Data Engineers
ничего себе
источник

S

Serg Slipushenko in Data Engineers
А разве read-after-write не было с самого начала? Или оно в одном регионе было?
источник

A

Alex in Data Engineers
@sslipushenko

S3 -  eventual consistency
Gcp - консистентно в пределах одного dc, между регионами может не совпадать
Azure - консистентно даже между dc

В амазоне для обхода использовали s3guard который поверх динамо мету хранит
источник

AZ

Anton Zadorozhniy in Data Engineers
Или EMRFS
источник

AE

Alexey Evdokimov in Data Engineers
однакохуясе.
то бишь emrfs можно наконец-то выбросить. с чего это они вдруг?
источник

A

Alex in Data Engineers
евент не смотрел, но судя по хабру они много набросили
источник

A

Alex in Data Engineers
источник

A

Alex in Data Engineers
и вариант eks развернуть у себя

Amazon EKS Distro — это дистрибутив Kubernetes, который используется для создания кластеров в Amazon EKS. Он включает в себя бинарные файлы и исходный код таких компонентов как Kubernetes, etcd (база данных, хранящая конфигурацию кластера), а также плагины для сети и хранилища.

и на Babelfish MSSQL
Проект Babelfish будет доступен как open-source проект позже под лицензией Apache 2.0.
источник

A

Alex in Data Engineers
вот думаю кто-то сдох в лесу
источник

AE

Alexey Evdokimov in Data Engineers
ну это всё какая-то хрень в основном, ничего реально полезного
источник

A

Alex in Data Engineers
просто зная как они к опенсорсу относятся мне это было немного удивительно
источник