Телеграмм чат группы hadoopusers страница 1464

2019 July 20

O

Это вполне решаемый вопрос:
https://askubuntu.com/questions/14328/where-can-i-look-up-my-update-history

Все обновы записаны в файл, необновы вроде там же должны быть.

Ask Ubuntu

Where can I look up my update history?

Is there a place where I can look what updates I've installed?

спасибо поизучаю

источник

14:06пожаловаться #1

2019 July 22

p

panda in Data Engineers

kik ego

источник

10:17пожаловаться #2

YI

Yukari I in Data Engineers

Откуда они лезут

источник

10:39пожаловаться #3

EA

Evgeny A in Data Engineers

Подскажите пожалуйста, можно ли в jmx console выдавать собранную информацию (например по http) только определенно интересующие меня данные? (а не весь лог)

источник

10:54пожаловаться #4

EA

Evgeny A in Data Engineers

вернее настроить jmx consloe что бы app по jmx выдавал то что мне нужно

источник

10:55пожаловаться #5

АЖ

Андрей Жуков in Data Engineers

А вот кто знает, зачем и по какой причине приложения (например, Spark) идут в hdfs по 50020 порту?
Вроде это ipc-порт. Или я что-то плохо понимаю в топологии hdfs?

источник

11:43пожаловаться #6

A

Alex in Data Engineers

А по какому им ходить ещё?

источник

11:59пожаловаться #7

АЖ

Андрей Жуков in Data Engineers

Alex

А по какому им ходить ещё?

50010 же

источник

12:02пожаловаться #8

АЖ

Андрей Жуков in Data Engineers

50020 ipc и вроде как interal metadata

источник

12:03пожаловаться #9

A

Alex in Data Engineers

50010 Дататрансфер
А short path read как делать? Когда там почти все на уровне метаданных прогоняется и потом сокет на руках

источник

12:03пожаловаться #10

АЖ

Андрей Жуков in Data Engineers

Alex

50010 Дататрансфер
А short path read как делать? Когда там почти все на уровне метаданных прогоняется и потом сокет на руках

Хм, я думал, им датанода сообщает. Ну, таки неверно понял топологию

источник

12:04пожаловаться #11

АЖ

Андрей Жуков in Data Engineers

Что забавно, месяц работало по 50010, и не жаловалось :)

источник

12:05пожаловаться #12

A

Alex in Data Engineers

Не сообщает, иначе было бы нарушение безопасности.

Там условно обмен метаданных и потом датаноде открывается файл только на чтение и через доменный сокет на этой машине клиенту перекидывается этот файлдескриптор

источник

12:06пожаловаться #13

АЖ

Андрей Жуков in Data Engineers

Alex

Не сообщает, иначе было бы нарушение безопасности.

Там условно обмен метаданных и потом датаноде открывается файл только на чтение и через доменный сокет на этой машине клиенту перекидывается этот файлдескриптор

Ага, спасибо, стало яснее

источник

12:11пожаловаться #14

2019 July 23

СХ

Старый Хрыч in Data Engineers

кстати а пульсар юзает уже в проде кто?

источник

14:41пожаловаться #15

SU

Sergey Ufimtsev in Data Engineers

Всем привет!!! Есть табличка ключ-значение в 7гб, необходимо джоинить всё, что придет из кафки по ключу. Куда можно будет выгрузить эту табличку в imdb какую нить, чтоб джоинило быстро), имеется спарк, поэтому видимо в нем.

источник

14:50пожаловаться #16

K

KrivdaTheTriewe in Data Engineers

а где табличка

источник

14:58пожаловаться #17

K

KrivdaTheTriewe in Data Engineers

ну вот в плане того,что если kv распредленное, то джойнить будет быстро

источник

14:58пожаловаться #18