MG
можешь спросить в чатике FAANG, там вроде народ собесился
Size: a a a
2021 December 08
MV
Привет, подскажите пожалуйста курсы/ресурсы для ознакомления с Databricks для тех, кто совсем в танке. Мне как девопсу хотелось иметь немного представления о данной туле.
Всем заранее спасибо
Всем заранее спасибо
DR
а какая именно часть датабрикса интересует?
MV
Мммм, я даже затрудняюсь с ответом
DR
я сам девопс, и основной продукт, что используем - это mlflow
L
подскажите, пж, что означает allocated containers в yarn? что это за контейнеры?
РП
Господа, всем привет.
Скажите плз, по теории.
HIVE
Целевая таблица. Партицирована по некой дате.
Сливаем в параллельную временную таблицу - новые партиции.
Делаем replace партиций в целевую из временной.
В вот в момент замены партиций, какое то время данные же недоступны в целевой таблице?
Скажите плз, по теории.
HIVE
Целевая таблица. Партицирована по некой дате.
Сливаем в параллельную временную таблицу - новые партиции.
Делаем replace партиций в целевую из временной.
В вот в момент замены партиций, какое то время данные же недоступны в целевой таблице?
ЕГ
Ну тип пару секунд, пока hdfs mv работает
РП
Ага. А если партиций допустим много. То он их будет по очереди менять? Или может в N потоков копировать?
И соответственно, недоступность будет в виде пары секунд к конкретной партиции. так же?
И соответственно, недоступность будет в виде пары секунд к конкретной партиции. так же?
ИК
Это неоднозначный момент, ведь в hdfs/hive нет транзакций (на чтение их точно нет, и выше в стеке тоже нет), поэтому если какой-то запрос уже час работает на этих данных, а они поменялись, то запрос упадёт и данные будут ему недоступны. Получается, доступность данных для этого запроса нулевая
Дисклеймер: транзакционные таблицы hive близко не смотрел, в них, может, нет таких эффектов
Дисклеймер: транзакционные таблицы hive близко не смотрел, в них, может, нет таких эффектов
РП
А разве запрос не блокирует изменения в HIVE? Я помню море боли в чатах. Что не обновлялись важные справочники, потому висели мега запросы с джойном на них...
ИК
я всегда с External таблицами работаю, так что чтение не блокирует. По уму, Managed таблицы должны предусматривать блокировки. Если так, то недоступность действительно весьма небольшая: секунды или доли секунд
ЕГ
Спарк лезет в хайв только в самом начале получить список файлов из таблички, никаких блокировок нет
ИК
Да, я потому и предупреждаю, кейсы разные бывают
ИК
То, что директория переименовалась атомарно и почти моментально, не значит, что весь остальной мир об этом также узнал и подготовился))
ЕГ
Ну как раз все закешировали список файлов, пытаются читать, а там уже подлог выполнен)
N
ярн выделяет память контейнерами. это вот они и есть.
N
что значит недоступны? их нельзя прочитать или возвращается пусто?
РП
хороший вопрос, что DS вкладывают в недоступность. Но имхо, ни 1, ни 2 их не устроит.