Size: a a a

Архитектура данных

2021 June 14

R

Renarde in Архитектура данных
так никогда не поздно начать 🙂
в датабрикс это делается в несколько строк:


df = spark.read.format("jdbc").load("db_name.table_name").selectExpr("*", 'date_trunc(dt, "year") as year', 'date_trunc(dt, "month") as month', 'date_trunc(dt, "day") as day')
df.write.format("delta").partitionBy("year", "month", "day").save("db.table_name")
источник

e

er@essbase.ru in Архитектура данных
Фиксация расходов. Иногда надо просто списать убытки и не тратиться на старье
источник

CO

Chern Oleksander in Архитектура данных
у меня через две недели интеграция/переезд
и какбы сейчас точно не успею за две недели, на AWS поднять databricks и в нем быстрее разобраться (((
источник
2021 June 15

EK

Evgeny Kincharov in Архитектура данных
В глю можно просто достать Спарк контекст... А дальше как выше написано. Вот только дельту использовать прямо не получится. Но в данном случае паркета хватит.
источник

CO

Chern Oleksander in Архитектура данных
Уже реализовал через Спарк. Все получилось. Теперь не знаю как их обновлять ?((
источник

EK

Evgeny Kincharov in Архитектура данных
Обновлять - целиком перезаписывать?
источник

CO

Chern Oleksander in Архитектура данных
Та это как-то не кошерно((
Я думаю что есть более практичный способ
источник

e

er@essbase.ru in Архитектура данных
Write once - read many
источник

CO

Chern Oleksander in Архитектура данных
Нуууу, такой себе варик, а что делать с SCD.
А если обычные транзакции, тогда нужно писать ограничения, чтобы вытягивать только за прошедшую дату ...
Как же ш все тяжело ((
источник

PG

Paul Golubev in Архитектура данных
Есть различные модели построения данных, где это предусмотрено
источник

CO

Chern Oleksander in Архитектура данных
Делаю озеро, но все больше понимаю, что лучше не на сервисы надеятся, а тупо кодом писать логику
источник
2021 June 16

AF

Aleksandr Fedorchenk... in Архитектура данных
Болото? 😂 хрен ты кодом логику всю уложишь
источник

V

Vasiliy in Архитектура данных
Можно вопрос? А чем, кроме кода и его интерпретации, формируется любая логика в IA-64 архитектуру?
источник

CO

Chern Oleksander in Архитектура данных
Та ладно, главное же желание ))
источник

CO

Chern Oleksander in Архитектура данных
Та, думал что в AWS Glue, можно будет пару кнопок понажимать и будет тебе счастья.
Как минимум типа записать по партиям, переписывать если есть обновления, а такого к сожалению нет (
источник

e

er@essbase.ru in Архитектура данных
* ты так слона не продашь
источник

CO

Chern Oleksander in Архитектура данных
Отож, а рассказывают же, про космос в этих облаках
источник
2021 June 18

ПБ

Павел Белов... in Архитектура данных
источник