I
Anton Kovalenko
Все презы интересуют или только наша?
мне вторая интересна, где гринплам сравнивают с кликхаусом
Size: a a a
2020 February 15
A
мне вторая интересна, где гринплам сравнивают с кликхаусом
Ок, уточню. Если что, кину в личку
I
Спасибо!
N
Кто знает как ЗК использует свой лог? Мне вот что непонятно. Если это лог по аналогии с WAL и нет сброса ещё записей на диск , то допустим год назад я создал ноду. Логов много уже записалось на диск. Вот сегодня ЗК упал.он что все логи за год прочитать должен , что бы состояние восстановить?
AZ
Nikolay
Кто знает как ЗК использует свой лог? Мне вот что непонятно. Если это лог по аналогии с WAL и нет сброса ещё записей на диск , то допустим год назад я создал ноду. Логов много уже записалось на диск. Вот сегодня ЗК упал.он что все логи за год прочитать должен , что бы состояние восстановить?
он делает компакции транзакционных логов и пишет новый снапшот, но старые снапшоты он по-умолчанию не удаляет https://zookeeper.apache.org/doc/r3.2.2/zookeeperAdmin.html#Ongoing+Data+Directory+Cleanup
N
он делает компакции транзакционных логов и пишет новый снапшот, но старые снапшоты он по-умолчанию не удаляет https://zookeeper.apache.org/doc/r3.2.2/zookeeperAdmin.html#Ongoing+Data+Directory+Cleanup
Спасибо. Выходит он делает снэпшот , когда файл лога превысит определенный размер.
N
Хотя нет. Вот пишут , что на кол-во завязано After snapCount transactions are written to a log file a snapshot is started and a new transaction log file is started. The default snapCount is 10,000.
A
Привет. Подскажите, как в Спарке заброадкастить переменную, которая не serializable, например amazons3 client ? Или здесь без вариантов нужно на экзекьюторе создавать новый через new?
DZ
Как вы представляете сериализацию клиента?
DZ
Чем плохо на каждом свой создать?
TY
Привет. Подскажите, как в Спарке заброадкастить переменную, которая не serializable, например amazons3 client ? Или здесь без вариантов нужно на экзекьюторе создавать новый через new?
Можно завернуть в сериализуемый врапер, объявить amazon client как transient и lazy создавать его при обращении
A
Чем плохо на каждом свой создать?
а как быть в случае, если этот код должен быть дублируемым? Например, есть две разных джобы, но обе должны использовать клиент.
A
Можно завернуть в сериализуемый врапер, объявить amazon client как transient и lazy создавать его при обращении
Спасибо!
MV
А посоветуйте, пожалуйста, какую нибудь книжку по архитектурам баз данных, как что складировать, проектировать, в том числе РСУБД, DWH, Data Lake, data mart, и вот это все.
Кроме книжки с кабанчиком. А то хочется понять, о чем говорят архитекторы.
Кроме книжки с кабанчиком. А то хочется понять, о чем говорят архитекторы.
Inmon и Kimball устарели ещё 10 лет назад. Только если хочется восстановить ретроспективу. Kimball хорошо подходит для витрин, но двухслойное хранилище - это что-то очень странное. Inmon - нет чёткой методологии как прийти к модели.
В принципе такой хорошей литературы полноценной на этот счёт не видел. Текущий подход к построению моделей обычно сводится к классу моделей, который называется Ansemble modelling. Наиболее популярные архитектуры - Data Vault и Anchor Modeling (они разные, хотя многие считают, что одно - частный случай другого). ПО data vault есть книга, по Anchor - статьи.
То что я вижу на практике - это помесь двух вышестоящих. Которая учитывает эвристики жизненного процесса данных в компаниях.
В принципе такой хорошей литературы полноценной на этот счёт не видел. Текущий подход к построению моделей обычно сводится к классу моделей, который называется Ansemble modelling. Наиболее популярные архитектуры - Data Vault и Anchor Modeling (они разные, хотя многие считают, что одно - частный случай другого). ПО data vault есть книга, по Anchor - статьи.
То что я вижу на практике - это помесь двух вышестоящих. Которая учитывает эвристики жизненного процесса данных в компаниях.
MV
А посоветуйте, пожалуйста, какую нибудь книжку по архитектурам баз данных, как что складировать, проектировать, в том числе РСУБД, DWH, Data Lake, data mart, и вот это все.
Кроме книжки с кабанчиком. А то хочется понять, о чем говорят архитекторы.
Кроме книжки с кабанчиком. А то хочется понять, о чем говорят архитекторы.
Если хочется вообще начать понимать это на более низком уровне, в том числе и почему вообще та или иная архитектура используется. То советую книгу Database System Concepts коллектива авторов во главе с Abraham Silberschatz.
MV
Книгу могу пошарить, но всё есть на gen.lib.rus.ec
V
Inmon и Kimball устарели ещё 10 лет назад. Только если хочется восстановить ретроспективу. Kimball хорошо подходит для витрин, но двухслойное хранилище - это что-то очень странное. Inmon - нет чёткой методологии как прийти к модели.
В принципе такой хорошей литературы полноценной на этот счёт не видел. Текущий подход к построению моделей обычно сводится к классу моделей, который называется Ansemble modelling. Наиболее популярные архитектуры - Data Vault и Anchor Modeling (они разные, хотя многие считают, что одно - частный случай другого). ПО data vault есть книга, по Anchor - статьи.
То что я вижу на практике - это помесь двух вышестоящих. Которая учитывает эвристики жизненного процесса данных в компаниях.
В принципе такой хорошей литературы полноценной на этот счёт не видел. Текущий подход к построению моделей обычно сводится к классу моделей, который называется Ansemble modelling. Наиболее популярные архитектуры - Data Vault и Anchor Modeling (они разные, хотя многие считают, что одно - частный случай другого). ПО data vault есть книга, по Anchor - статьи.
То что я вижу на практике - это помесь двух вышестоящих. Которая учитывает эвристики жизненного процесса данных в компаниях.
Ох как интересно
MV
На истину в первой инстанции не претендую 🙂
V
А есть ли где нибудь по данному утверждению развернута я аргументация)? Я бы почитал. Не тут, естессна
V
Оч прошу, поделитесь