Size: a a a

2020 March 03

АЖ

Андрей Жуков in Data Engineers
Oleg Ilinsky
это у меня есть и оно работает 😊
Но мне нужно ходить в минио и там рекомендуется хадуп 2.8.2 https://github.com/minio/cookbook/blob/master/docs/apache-spark-with-minio.md.
Апдейт: пожонглировали конфигами,  и вот у нас спарк 2.4.5 в ярне работает с минио
источник
2020 March 04

K

KrivdaTheTriewe in Data Engineers
Андрей Жуков
Апдейт: пожонглировали конфигами,  и вот у нас спарк 2.4.5 в ярне работает с минио
А что у вас
источник

K

KrivdaTheTriewe in Data Engineers
В минио
источник

АЖ

Андрей Жуков in Data Engineers
KrivdaTheTriewe
В минио
Там EDL как бы
источник

АЖ

Андрей Жуков in Data Engineers
Последний кластер хадупа разбираем,  переводим кафка коннекты на слив в с3
источник

ЛР

Лев Рагулин in Data Engineers
Андрей Жуков
Последний кластер хадупа разбираем,  переводим кафка коннекты на слив в с3
О как все быстро завертелось 🤔
источник

ЛР

Лев Рагулин in Data Engineers
А ярн где живет, если хадуб разобрали ?
источник

АЖ

Андрей Жуков in Data Engineers
Лев Рагулин
А ярн где живет, если хадуб разобрали ?
В процессе разбора, переносим пайплайны кусками
источник

АЖ

Андрей Жуков in Data Engineers
Чтоб сразу об кубы не убиться
источник

K

KrivdaTheTriewe in Data Engineers
Андрей Жуков
Последний кластер хадупа разбираем,  переводим кафка коннекты на слив в с3
А минио большой у вас ?
источник

K

KrivdaTheTriewe in Data Engineers
И s3 ваш
источник

K

KrivdaTheTriewe in Data Engineers
И хайв с3 гвард как работает ?
источник

ЛР

Лев Рагулин in Data Engineers
KrivdaTheTriewe
И хайв с3 гвард как работает ?
А нафига в этой схеме хайв ?
источник

АЖ

Андрей Жуков in Data Engineers
KrivdaTheTriewe
И s3 ваш
Ну,  s3 api на minio.
Пока не очень большой,  несколько инстансов,  12 Тб максимум
источник

АЖ

Андрей Жуков in Data Engineers
KrivdaTheTriewe
И хайв с3 гвард как работает ?
Не используем пока
источник

K

KrivdaTheTriewe in Data Engineers
Лев Рагулин
А нафига в этой схеме хайв ?
Ну что то же у них sql делает поверх?
источник

ЛР

Лев Рагулин in Data Engineers
Андрей Жуков
Ну,  s3 api на minio.
Пока не очень большой,  несколько инстансов,  12 Тб максимум
А шифрование сервер сайд практикуете ?
источник

K

KrivdaTheTriewe in Data Engineers
Андрей Жуков
Ну,  s3 api на minio.
Пока не очень большой,  несколько инстансов,  12 Тб максимум
Так hdfs ещё не выключили ?
источник

ЛР

Лев Рагулин in Data Engineers
KrivdaTheTriewe
Ну что то же у них sql делает поверх?
Видимо
источник

ЛР

Лев Рагулин in Data Engineers
Ну вообще если sql только аналитикам, то можно какой-нибудь дремио прикрутить
источник