но я ренжер не мигрировал ни разу

но не думаю что это вах как сложно

Всем привет,кто-то может подскажет как правильно лучше организовать процесс на AWS
через api  забираем данные (Lambda) кладем в AWS S3 и паралельно складываем полученный JSON в Postgres SQL (11.2) формируем view в нужную структуру для аналитиков добавляем справочную инфу с других таблиц, отдаем view аналитикам они работаю через ole db (python, excel, quicksight, googlesheet)
но вот есть подозрение, что этот механизм не совсем практичный. Что скажите, подскажите?
Заранее благодарен!

А, туплю, у вас не кликстрим

Тут могу singer.io порекомендовать для лямбды

если данных условно до сотни гигабайт то норм

Всем привет. Может кто-нибудь прояснить как hdfs блок  физически размещается на диске, то есть на дисках, если их много, или все-таки на одном диске из выделенных n на датаноде под hdfs ?

Тут типо из основных вопросов, нужно ли json раскладывать в реляционке или тупо с jdon формировать отчёт для аналитиков?

нужно, но делается в 1 строку

singer.io target-postgres

и свой tap

Запросто

Но блоки в пределах одного сервера не размещается

Репл

Один блок, скажем 128 стандарт. Он же ляжет на одну ноду. Вот, скажем, на ноде 5 дисков. Он ляжет на один физический диск или размажется кусками на все 5?

На один диск

В этом бонус последовательно записи и чтения

Головка диска будет стоять,  меньше ио

Спасибо