Телеграмм чат группы hadoopusers страница 4296

Size: a a a

Data Engineers

2021 October 05

вот есть 3 канала

https://www.youtube.com/c/DEorDIE/videos
https://www.youtube.com/c/SmartDataConf

и иногда на хайлоаде можно ченить глянуть, вот можно смотреть

источник

10:08пожаловаться #1

Anton Zadorozhniy in Data Engineers

Я бы посоветовал смотреть выступления на конференциях, читать рассылки и блоги; книжки где было бы рассказано что и как делать если у вас Х петабайт данных я не видел

источник

10:11пожаловаться #2

Anton Zadorozhniy in Data Engineers

Проблема использования хадупа там где хватит баз данных, по моим ощущениям, локальная для русскоязычной среды; в Европе и Штатах обычно начинают с баз данных, и если сильно жмёт - тогда смотрят на хадупы и спарки

источник

10:14пожаловаться #3

Al. P. in Data Engineers

Я поэтому и попросил что-нибудь фундаментальное, а так все основные papers я скорее всего читал.

источник

10:14пожаловаться #4

Al. P. in Data Engineers

Просто, чтобы понимать, с камими проблемами сталкивается Solution Architect.

источник

10:15пожаловаться #5

Al. P. in Data Engineers

Бизнес проблемами.

источник

10:15пожаловаться #6

Al. P. in Data Engineers

Спасибо, посмотрю.

источник

10:15пожаловаться #7

helby in Data Engineers

вроде подвезли
https://leftjoin.ru/all/pattern-matching-v-python/

leftjoin.ru

В Python 3.10 появился pattern matching

источник

11:15пожаловаться #8

Julius Caesar in Data Engineers

У кого зп в среднем выше при одинаковоп опыте у DE или DS?

источник

13:40пожаловаться #9

Sergei Korolev in Data Engineers

источник

13:45пожаловаться #10

Sergei Korolev in Data Engineers

один из пруфов
https://habr.com/ru/company/ods/blog/572264/

Хабр

Анализ вакансий и зарплат в Data Science

Привет, Хабр!Делимся нашим исследованием вакансий и зарплат в сфере data science и data engineering. Спрос на специалистов растет, или рынок уже насытился, какие технологии теряют, а какие набирают...

источник

13:46пожаловаться #11

Vitaly Pismarev in Data Engineers

Переслано от Vitaly Pismarev

А кто как делает датакаталог для S3 стораджа в AWS? Хочется собрать всю мету со структурой каталогов + как-то нужно показать описание того что там лежит. Т.е. задач состоит не в том чтобы текущее описать, а скорее то что будут загружать другие команды. Хочется как-то заранее всё предусмотреть и автоматизировать процесс сбора меты.

источник

13:47пожаловаться #12

Vitaly Pismarev in Data Engineers

Переслано от Vitaly Pismarev

Я пока не очень понимаю где описание для каталогов хранить, в мете S3 и потом как-то вытаскивать?

источник

13:47пожаловаться #13

Vitaly Pismarev in Data Engineers

Переслано от Vitaly Pismarev

В моём случае всё усложняется всякими политиками вендор локов, т.е. в идеале решение должно переносится между клаудами или в он прем.... Но пока, я думаю хотя бы начать средствами AWS делать.

источник

13:47пожаловаться #14

Vitaly Pismarev in Data Engineers

Переслано от Vitaly Pismarev

Посмотрел демко кроулера, пока видится что он умеет скраппить структуру, а вот как с описанием каталогов быть непонятно...

источник

13:47пожаловаться #15

Sergei Korolev in Data Engineers