Телеграмм чат группы hadoopusers страница 3198

Andrey Smirnov

Testcontainers?

Так, а дальше? Ну вот у меня есть пайплайн, предлагаешь Егор целиком вместе со всеми источниками и промежуточными хранилищами поднимать в tc?

10:16пожаловаться #2

AS

Andrey Smirnov in Data Engineers

Так, а дальше? Ну вот у меня есть пайплайн, предлагаешь Егор целиком вместе со всеми источниками и промежуточными хранилищами поднимать в tc?

Мы так делаем

10:19пожаловаться #3

ПФ

Andrey Smirnov

Мы так делаем

Слушай, но ведь если там посередине какой-нибудь хадуп - то это же чистая боль, нет?
А что для тестирования пайплайнов на Амазоне, например?

10:20пожаловаться #4

АР

https://github.com/localstack/localstack ?

Слушай, но ведь если там посередине какой-нибудь хадуп - то это же чистая боль, нет?
А что для тестирования пайплайнов на Амазоне, например?

💻 A fully functional local AWS cloud stack. Develop and test your cloud & Serverless apps offline! - localstack/localstack

localstack/localstack

10:21пожаловаться #5

ПФ

https://github.com/localstack/localstack ?

Андрей Романов

💻 A fully functional local AWS cloud stack. Develop and test your cloud & Serverless apps offline! - localstack/localstack

localstack/localstack

О, прикольно, спасибо?

10:21пожаловаться #6

ПФ

Надо думать, для Гугла и для ажура такие же?

10:22пожаловаться #7

АР

Надо думать, для Гугла и для ажура такие же?

надо гуглить

10:22пожаловаться #8

ПФ

Блин, конечно надо брать про версию локалстэка, но всё равно

10:24пожаловаться #9

AS

Andrey Smirnov in Data Engineers

Слушай, но ведь если там посередине какой-нибудь хадуп - то это же чистая боль, нет?
А что для тестирования пайплайнов на Амазоне, например?

У нас нет aws, Hadoop так же стартуем, у нас ещё и Hanse

10:27пожаловаться #10

ПФ

Andrey Smirnov

У нас нет aws, Hadoop так же стартуем, у нас ещё и Hanse

А насколько секретно посмотреть как вы стартуете хадуп в докер-коньейнерах?

Старый Хрыч... in Data Engineers

10:39пожаловаться #11

СХ

😐https://github.com/alicek106/k8s-hadoop-operator

А насколько секретно посмотреть как вы стартуете хадуп в докер-коньейнерах?

Kubernetes Hadoop operator for studying Operator SDK - alicek106/k8s-hadoop-operator

alicek106/k8s-hadoop-operator

Старый Хрыч... in Data Engineers

10:40пожаловаться #12

СХ

операторов тьма уже

10:40пожаловаться #13

A

Alex in Data Engineers

для юнит теста?

10:40пожаловаться #14

A

Alex in Data Engineers

мне кажется ты что-то попутал

Старый Хрыч... in Data Engineers

10:40пожаловаться #15

СХ

Alex

мне кажется ты что-то попутал

а что нет?елезо стоит копейки нынче

10:41пожаловаться #16

ПФ

Не, ну всё-таки вот деплоить в кубик для тестов мне совсем не нравится

10:43пожаловаться #17

ПФ

И это далеко от тест контейнеров

10:43пожаловаться #18

АР

есть же ещё такая штука

https://github.com/sakserv/hadoop-mini-clusters

hadoop-mini-clusters provides an easy way to test Hadoop projects directly in your IDE - sakserv/hadoop-mini-clusters

sakserv/hadoop-mini-clusters

10:45пожаловаться #19

АР

Не, ну всё-таки вот деплоить в кубик для тестов мне совсем не нравится

она потребности не покрывает?