Телеграмм чат группы hadoopusers страница 3149

2021 January 16

AZ

Anton Zadorozhniy in Data Engineers

Я думаю это все погрузится в ещё более глубокую нишу, как все другие он-премные технологии..

источник

12:43пожаловаться #1

GP

Grigory Pomadchin in Data Engineers

Alex

мелкие файлы - лучше закинуть в s3, hdfs от этого плохо
большие файлы и поточная обработка - возможно hdfs вам будет лучше, так как select api ещё тот зверь и когда говорят что сеть резиновая, то многие лукавят

Мелкие файлы и для с3 тож так се

источник

16:45пожаловаться #2

A

Alex in Data Engineers

Grigory Pomadchin

Мелкие файлы и для с3 тож так се

Да, но лучше чем хдфс когда он память начинает сильно есть

источник

16:45пожаловаться #3

GP

Grigory Pomadchin in Data Engineers

это точно

источник

16:46пожаловаться #4

2021 January 17

SS

Sergey Sheremeta in Data Engineers

коллеги, привет! у кого-то есть под рукой готовая Spark UDF для парсинга binary-формата столбца value топика __consumer_offsets?

источник

22:28пожаловаться #5

2021 January 18

Ad

A dn in Data Engineers

restart the script?

источник

05:29пожаловаться #6

E

Evgen in Data Engineers

Коллеги привет. Можно как-то отмониторть куда выгружаются данные из HDFS, если пользак это делает с сервера, а не через GUI ?

источник

08:57пожаловаться #7

E

Evgen in Data Engineers

Интересует именно путь назначения

источник

08:58пожаловаться #8

AZ

Anton Zadorozhniy in Data Engineers

Evgen

Коллеги привет. Можно как-то отмониторть куда выгружаются данные из HDFS, если пользак это делает с сервера, а не через GUI ?

В HDFS audit logs отражаются все запросы клиентов, вне зависимости откуда эти клиенты запущены. Что дальше делают пользователи вам уже другими средствами надо мониторить, те что покрывают пользовательские сессии на Linux/Windows/Mac

источник

09:46пожаловаться #9

KO

Konstantin Orzhekhov... in Data Engineers

Подскажите, apache atlas можно подключить к рсубд, например postgres... может был уже у когото такой опыт?

источник

10:29пожаловаться #10

DZ

Dmitry Zuev in Data Engineers

Konstantin Orzhekhovsky

Подскажите, apache atlas можно подключить к рсубд, например postgres... может был уже у когото такой опыт?

Вместо хбейз?

источник

10:38пожаловаться #11

KO

Konstantin Orzhekhov... in Data Engineers

Dmitry Zuev

Вместо хбейз?

нет, в postgres очень много структур создано и хочу функционал атласа (отображение и поиск по метаданным) прикрутить к рсубд

источник

10:39пожаловаться #12

DZ

Dmitry Zuev in Data Engineers

Konstantin Orzhekhovsky

нет, в postgres очень много структур создано и хочу функционал атласа (отображение и поиск по метаданным) прикрутить к рсубд

Аа, эт можно. Никто не мешает собственные примитивы использовать

источник

10:40пожаловаться #13

KO

Konstantin Orzhekhov... in Data Engineers

Dmitry Zuev

Аа, эт можно. Никто не мешает собственные примитивы использовать

спасибо, попробую уже на практике начать делать

источник

10:43пожаловаться #14

AH

Aliaksandr Heleisha in Data Engineers

Добрый день, только начинаю изучать AWS. Подскажите почему не генерируется время.
Running command TIME=$(date +"%Y%m%d_%H%M%S")
phases:
pre_build:
commands:
- echo "Get current timestamp for reports naming.."
- TIME=$(date +"%Y%m%d_%H%M%S")

источник

12:06пожаловаться #15

ME

Max Efremov in Data Engineers

Aliaksandr Heleisha

Добрый день, только начинаю изучать AWS. Подскажите почему не генерируется время.
Running command TIME=$(date +"%Y%m%d_%H%M%S")
phases:
pre_build:
commands:
- echo "Get current timestamp for reports naming.."
- TIME=$(date +"%Y%m%d_%H%M%S")

Это в каком сервисе?

источник

12:57пожаловаться #16

ME

Max Efremov in Data Engineers

там их не одна сотня же...

источник

12:57пожаловаться #17

AH

Aliaksandr Heleisha in Data Engineers

Max Efremov

Это в каком сервисе?

S3. buildspec

источник

12:57пожаловаться #18

ME

Max Efremov in Data Engineers

CloudFormation темплейт?

источник

12:57пожаловаться #19

KO

Konstantin Orzhekhov... in Data Engineers

Dmitry Zuev

Аа, эт можно. Никто не мешает собственные примитивы использовать

а я правильно понял что из коробки все собственные примитивы создаются через atlas rest api и нет никакого коннектора, чтобы настроить подключение к РСУБД для автоматического чтения словаря БД ?

источник

13:35пожаловаться #20