В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2307 membersпожаловаться на группу
2021 February 20

ПБ

Повелитель Бури... in Data Engineers
Vitaly Pismarev
https://koch-kir.medium.com/%D1%81%D1%80%D0%B0%D0%B2%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5-databook-dataportal-datahub-amundsen-metacat-%D0%B8-%D0%BF%D1%80%D0%BE%D1%87%D0%B8%D1%85-%D0%B8%D0%BD%D1%81%D1%82%D1%80%D1%83%D0%BC%D0%B5%D0%BD%D1%82%D0%BE%D0%B2-data-discovery-c05fb492fc0f
Medium
Сравнение DataBook, DataPortal, DataHub, Amundsen, Metacat и прочих инструментов data discovery
Проблема
спасибо, смотрел, ничего не понравилось
Вот думаю, что то свое пилить или опенсорсное взять
источник
12:57пожаловаться#1

АЖ

Андрей Жуков... in Data Engineers
Повелитель Бури
спасибо, смотрел, ничего не понравилось
Вот думаю, что то свое пилить или опенсорсное взять
зависит от того, когда в прод

если года три есть, можно и свое пилить
источник
12:58пожаловаться#2

ПБ

Повелитель Бури... in Data Engineers
Андрей Жуков
зависит от того, когда в прод

если года три есть, можно и свое пилить
Вообще есть) но хочется с прицелом на опенсорс
источник
12:59пожаловаться#3

KS

K S in Data Engineers
T
Если есть глю специфичное то вот https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-libraries.html
Amazon
Developing and Testing ETL Scripts Locally Using the AWS Glue ETL Library - AWS Glue
Use the publicly available AWS Glue Scala library to develop and test your Python or Scala ETL scripts locally.
Спасибо, как раз то, что нужно!
источник
12:59пожаловаться#4

АЖ

Андрей Жуков... in Data Engineers
Повелитель Бури
Вообще есть) но хочется с прицелом на опенсорс
лучше уж выбрать живое опенсорсное и в него контрибутить
источник
12:59пожаловаться#5

ПБ

Повелитель Бури... in Data Engineers
Андрей Жуков
лучше уж выбрать живое опенсорсное и в него контрибутить
вот я думаю взять атлас и место Amundsen свою мордаху прилепить, тогда быстрее 3 лет будет )
думаю связку питон +Matplotlib
источник
13:02пожаловаться#6

DM

Dmitry Moscow in Data Engineers
Господа, посоветуйте пожалуйста. Если правильно понимаю, до версии 2.4 Спарк при запуске запроса через hive context запускал mr jobs. Однако в новых версиях спарка он запускает hive запрос через свои задачи. Вопрос: можно ли это исправить? Я хочу запускать sql запросы именно на Хайве.
источник
13:12пожаловаться#7

A

Aleksandr in Data Engineers
Всем привет. Направьте, пож-та. Стоит задача по сбору кликстрима (~10к events/min).
Я так понимаю, что есть три пути: snowplow, divolte, самопис.
Что выбрать?
источник
13:28пожаловаться#8

А

Алексей in Data Engineers
Паша Финкельштейн
Выбираете, что бы такого посмотреть вечером? Мы предлагаем свой вариант — доклады SmartData 2020. Плейлист открыт, его можно сохранять, шарить, смотреть и пересматривать.

https://www.youtube.com/playlist?list=PLeN_80lmoMY1ugdDLg2mWht5eQDq6CoNQ
YouTube
SmartData 2020 - YouTube
если нет желания полтора часа смотреть, будут ли презентации?
источник
13:31пожаловаться#9

ПФ

Паша Финкельштейн... in Data Engineers
Алексей
если нет желания полтора часа смотреть, будут ли презентации?
Там было оч много с лайвкодингом…
источник
13:55пожаловаться#10

А

Алексей in Data Engineers
Паша Финкельштейн
Там было оч много с лайвкодингом…
а если по архитектуре, типа этого "Александр Ермаков — Подходы к построению современной платформы данных." ?
источник
13:56пожаловаться#11

А

Алексей in Data Engineers
или будет появляться со временем, но не сейчас?
источник
13:57пожаловаться#12

ПФ

Паша Финкельштейн... in Data Engineers
Алексей
а если по архитектуре, типа этого "Александр Ермаков — Подходы к построению современной платформы данных." ?
А там можно попробовать добыть презу. В комментариях нету?
источник
13:57пожаловаться#13

ПФ

Паша Финкельштейн... in Data Engineers
Легче всего к Саше самому сходить на самом деле )
источник
13:57пожаловаться#14

А

Алексей in Data Engineers
Паша Финкельштейн
А там можно попробовать добыть презу. В комментариях нету?
не, нету https://www.youtube.com/watch?v=wpdlz0EcWug
YouTube
Александр Ермаков — Подходы к построению современной платформы данных.
Александр расскажет об основных характеристиках современной платформы данных, о различиях в архитектуре DWH, об используемых компонентах и open source дистри...
источник
13:58пожаловаться#15

ПФ

Паша Финкельштейн... in Data Engineers
Ну там в докладе контакты Саши есть
источник
13:58пожаловаться#16

ПФ

Паша Финкельштейн... in Data Engineers
Но пезы без доклада фигово будет восприниматься кмк, они много чего рассказывают словами
источник
13:58пожаловаться#17

A

Anton Kovalenko in Data Engineers
Алексей
а если по архитектуре, типа этого "Александр Ермаков — Подходы к построению современной платформы данных." ?
Если именно он так интересует, могу попробовать помочь )
источник
15:43пожаловаться#18

А

Алексей in Data Engineers
Anton Kovalenko
Если именно он так интересует, могу попробовать помочь )
спасибо, я уже посмотрел, в принципе достаточно видео
источник
16:00пожаловаться#19

NN

No Name in Data Engineers
Господа и дамы, есть возможность пропиариться)
источник
19:33пожаловаться#20