AS
плюсую, зачастую в конце больших заливок запускают вручную этот компакт
Size: a a a
2021 July 15
N
ну как вы не понимаете, вы же разработчик, вы пишете DDL таблицы. не делайте ее транзакционной
N
или отключите вообще поддержку асид на уровне всего hive
РП
Я не разработчик. Я аналитик) А решать приходится проблему за отдел ETL.
RK
Есть паркет-файлы с однотипными записями, и так получилось, что таймштамп у всех записей там один. По заданию необходимо положить это в elasticsearch и построить там дашборд в разрезе этих таймштампов. Как можно при отправке этих записей потоком из спарка изменять таймштамп, чтобы какое-то подобие продолжительности было? То бишь читать по сколько-то записей и править в потоке
N
Дебильный вопрос, но может кто-то знает как по имени локального файла на датаноге понять к какой папке/файлу HDFS он относится?
АЖ
это ж блок, тебе только неймнода скажет, что она в блок положила
AZ
в fsimage написано
A
Помогите советом
Занимаюсь pet-проектом, сейчас накидываю архитектуру DWH (в учебных целях)
Дело нехитрое:
1) несколько скраперов по api качают json-ы
2) сохраняют это в Mongo или Cassandra (primary data layer)
3) затем batch-джобы(раз в час, например, данных не терабайты) берут актуальное, проверяют, нормализуют и складывают в базу Postgres (Core layer)
Вопрос: все ли ок в моих рассуждениях?
Занимаюсь pet-проектом, сейчас накидываю архитектуру DWH (в учебных целях)
Дело нехитрое:
1) несколько скраперов по api качают json-ы
2) сохраняют это в Mongo или Cassandra (primary data layer)
3) затем batch-джобы(раз в час, например, данных не терабайты) берут актуальное, проверяют, нормализуют и складывают в базу Postgres (Core layer)
Вопрос: все ли ок в моих рассуждениях?
АБ
Заменить постгрес на гринплам и норм
V
Стало обидно за пг(
АБ
Так пг все равно в основе
N
а зачем монга-то?
АЖ
для чего?
A
вот думаю что в качестве этого слоя
hdfs или s3 как-то жирно для pet-проекта
есть предложения?
hdfs или s3 как-то жирно для pet-проекта
есть предложения?
N
тоже непонятно зачем. если данных 3 копейки. разве что сливу освоить.
GP
учебные цели
АБ
В учебных целях пощупать
N
ну камон, все зависит от того, какие цели ты перед собой ставишь. хочешь освоить s3 апи-ну поставь тогда минио, пихай в него. чтобы просто работало-да хоть на диск вали.
N
научиться страдать