В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Data Engineers

2205 membersпожаловаться на группу
2021 January 06

KS

K S in Data Engineers
Anton Zadorozhniy
С такой необычной архитектурой (особенно когда такая важная часть как диски у вас не под контролем) надо постоянно иметь под рукой и запускать тесты инфры, у вас что-нибудь деградирует и такие тесты будут полезны как бейзлайн и отбиться, если что
Спасибо большое, буду экспериментировать.
источник
09:26пожаловаться#1

KS

K S in Data Engineers
λoλdog
Сложная задача
Ага export JAVA_HOME🤣
источник
09:27пожаловаться#2

AZ

Anton Zadorozhniy in Data Engineers
K S
Облако под запретом, всё строго он прем.
А остальные диски, под неймнодой, nodemanager.local-dirs - это тоже тома айскази?
источник
09:28пожаловаться#3

KS

K S in Data Engineers
Anton Zadorozhniy
А остальные диски, под неймнодой, nodemanager.local-dirs - это тоже тома айскази?
Там часть ssd, часть iscsi. Завтра утром посмотрю где что
источник
09:29пожаловаться#4

AZ

Anton Zadorozhniy in Data Engineers
K S
Там часть ssd, часть iscsi. Завтра утром посмотрю где что
Если yarn.nodemanager.local-dirs у вас смотрит на айскази, то я даже не знаю что вам посоветовать
источник
09:32пожаловаться#5

AZ

Anton Zadorozhniy in Data Engineers
Это надо каких-то специальных экспертов по unorthodox infrastructure искать
источник
09:33пожаловаться#6

AZ

Anton Zadorozhniy in Data Engineers
А replication factor у вас какой?
источник
09:35пожаловаться#7

AZ

Anton Zadorozhniy in Data Engineers
Мне прям больно стало от мысли что там может быть RF3
источник
09:37пожаловаться#8

СХ

Старый Хрыч... in Data Engineers
так что на счёт того, как сравнить функционал hive 1 и hive 3 кроме переписывания всех релис нотес
источник
10:51пожаловаться#9

A

Alex in Data Engineers
Anton Zadorozhniy
Мне прям больно стало от мысли что там может быть RF3
почему может? это же стандартная практика

рейд на скайзи и реликация в хадупе “вы не понимаете, это другое”
источник
10:54пожаловаться#10

A

Alex in Data Engineers
Старый Хрыч
так что на счёт того, как сравнить функционал hive 1 и hive 3 кроме переписывания всех релис нотес
то есть как сравнивать?
источник
10:54пожаловаться#11

СХ

Старый Хрыч... in Data Engineers
Alex
то есть как сравнивать?
ну вот мне нужно сделать презентацию, почему переезд с 1 hive на 3,1,5 сильно уменьшит кол-во костылей, ускорит работу, упростит написание кода
источник
10:55пожаловаться#12

A

Alex in Data Engineers
про костыли сразу не скажу
работу возможно ускорит

написание кода как упростит?
источник
10:56пожаловаться#13

СХ

Старый Хрыч... in Data Engineers
Alex
про костыли сразу не скажу
работу возможно ускорит

написание кода как упростит?
ну 1 хайв уже давно деприкейтед и по нему даже дока не всегда есть
источник
10:56пожаловаться#14

СХ

Старый Хрыч... in Data Engineers
а значит при ошибках проще искать решения
источник
10:58пожаловаться#15

СХ

Старый Хрыч... in Data Engineers
сейчас связка hadoop 2.6.1 hive 1 spark не помню версию но оч старая
источник
10:59пожаловаться#16

СХ

Старый Хрыч... in Data Engineers
scala 2.10
источник
10:59пожаловаться#17

A

Alex in Data Engineers
ну у нас старая клоудера на такой же связке примерно (hadoop 2.6 и hive 1.2.0) , но скала 2.11 и спарк 2.4.6
источник
11:00пожаловаться#18

СХ

Старый Хрыч... in Data Engineers
ну есть и 2,11 но много и 2,10
источник
11:00пожаловаться#19

СХ

Старый Хрыч... in Data Engineers
хочу сделать презентацию чтобы потом с директорами обсуждать переезд на hadop 3.3 hive 3.1.5 spark 3
источник
11:00пожаловаться#20