В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

1724 membersпожаловаться на группу
2019 July 11

PA

Polina Azarova in Data Engineers
не знаю, мне настраивание хадупчика нравится намного больше чем мапредьюски писать)
меняешь одну настройку и всё чудесным образом работает
или не работает, но сам виноват :D
источник
11:26пожаловаться#1

R

Roman in Data Engineers
Когда все чудесным образом не работает - это не самый приятный челендж😅
источник
11:31пожаловаться#2

A

Alex in Data Engineers
Polina Azarova
не знаю, мне настраивание хадупчика нравится намного больше чем мапредьюски писать)
меняешь одну настройку и всё чудесным образом работает
или не работает, но сам виноват :D
И всё становится намного веселей когда ноды несиметричные :) (разные точки монтирования дисков, их разное количество, разные рам и цпу)
источник
11:34пожаловаться#3

AS

Andrey Smirnov in Data Engineers
Mikhail Butalin
Ну смотри... Вчера у меня парадеятелей нагнули кластер запустив job. А вот поменять приоритет этого джоба никак налету нельзя... В итоге трифты на hbase выпилились пока нагрузка на ИО 90% была
очереди настраивай, а если деятелям понадобится много ресурсов, пусть приходят и объясняют зачем и когда можно будет запустить
источник
11:37пожаловаться#4

MB

Mikhail Butalin in Data Engineers
Вот в этом и есть засада
источник
11:38пожаловаться#5

MB

Mikhail Butalin in Data Engineers
хадуп работает по принципу шаблонизации, на мой взгляд. Как настроил рамки так и работаешь. А хочется управления на лету :(
источник
11:39пожаловаться#6

A

Alex in Data Engineers
Каких именно рамок?
источник
11:43пожаловаться#7

A

Alex in Data Engineers
Подрезать ресурсы запущенному приложению?
источник
11:43пожаловаться#8

N

Nikolay in Data Engineers
Кто понимает отличие тайм сериес баз данных , объясните плиз. В чем именно на физическом уровне ( на уровне хранения данных ) отличие от тех же реляционных ?
источник
11:45пожаловаться#9

MB

Mikhail Butalin in Data Engineers
Alex
Подрезать ресурсы запущенному приложению?
Да
источник
11:46пожаловаться#10

A

Alex in Data Engineers
Mikhail Butalin
Да
Есть приложение на 10 контейнеров, захотели уменьшить, кого убивать из этих 10?
источник
11:47пожаловаться#11

MB

Mikhail Butalin in Data Engineers
Наверное. Ведь они все 10 работают и прерывать нельзя...
источник
11:49пожаловаться#12

A

Alex in Data Engineers
А теперь уточним что количество контейнеров не лимитируется, но лимитируется сколько всего cpu и памяти выдавать в сумме :) а дальше хоть по мелким кусочкам дели в своём приложении
источник
11:52пожаловаться#13

MB

Mikhail Butalin in Data Engineers
Так есили инициатор запросил неразумное количество ресурсов, неважно каких, и джжоб уже стартанул - всё. Ничего с ним не сделать. Ни приоритет понизить ни еще чтото.
Всё что на ум приходит - грамотно очереди распланировать чтоб небыло одной очереди которая выжирает 100% ресурса, естественно чтобы и в default очереди не запускался никто
источник
11:54пожаловаться#14

A

Alex in Data Engineers
Да, есть лимиты на очередь, есть лимиты на "максимум для одного приложения"
источник
11:55пожаловаться#15

A

Alex in Data Engineers
Это не cpu где просто меньше квант времени выдать
источник
11:55пожаловаться#16

A

Alex in Data Engineers
Тут больше похоже на ситуацию с физической mem и системой без свопа
источник
11:56пожаловаться#17

A

Alex in Data Engineers
Понижай не понижай, а пока она не вернёт сама память в систему то её только и можно что убить
источник
11:56пожаловаться#18

MB

Mikhail Butalin in Data Engineers
с памятью всё нормально
источник
11:57пожаловаться#19

MB

Mikhail Butalin in Data Engineers
у меня пришлось на IO львиная нагрузка
источник
11:57пожаловаться#20