АЖ
там еще и Hive у них relational
Size: a a a
2020 January 16
A4
на амазоне кроме DynamoDb что-то еще можно использовать?
АЖ
на амазоне кроме DynamoDb что-то еще можно использовать?
в EMR?..
A4
в EMR?..
вообще
АЖ
ну возможно, но мы людей уже перводили
ну а я людей с хадупов на аксесс переводил!
СХ
на амазоне кроме DynamoDb что-то еще можно использовать?
ну там разные rds есть
СХ
там еще и Hive у них relational
hive же вроде отчасти могёт в sql
ME
на амазоне кроме DynamoDb что-то еще можно использовать?
Монгу амазоновскую)
ME
DocumentDB точнее)
ME
забыл название
T
@usualreptiloid пробовал с таблицами хайва перезаписать (overwrite) только 1 партицию выставив spark.sql.sources.partitionOverwriteMode= dynamic - не работает, не делай так если используешься спарк ниже 2.3)
Спасибо, хоршо что у меня 2.4.3
ME
DocumentDB точнее)
оно на 182 месте 😂
A4
DocumentDB точнее)
спасибо
DT
Friends Anyone or anyone's friends here in google? If yes dm me😃
A
сейчас все на спарке сидят?
A
Если бы не нужно было никому, то не анонсили :)
DM
@usualreptiloid кстати все таки оверайдит на версиях ниже 2.3 🙂 Просто первый раз у меня почему то таблицы без партийций был поэтому всю таблицу похерил. Единственное сейчас я посмотрел последнее время апдейта всех партишн почему то меняет тоже, а не только ту партицию где был overwrite
T
👍
R
Всем привет!
Вопрос - допустим у вас есть пачка spark-job в одном репозитории.
Ну то есть для одной job-ы аргументы например такие:
job1-conf.json:
job2-conf.json:
{
Я пока вижу опции по типу jsonnet или hocon.
Вопрос - допустим у вас есть пачка spark-job в одном репозитории.
Ну то есть для одной job-ы аргументы например такие:
job1-conf.json:
{
“input_path”:”/some/input/path”,
“output_path”: “/some/output/path”
}job2-conf.json:
{
“input_path”:”/some/output/path”, # from the previous configКак вы управляете связанными конфигурациями в них?
“output_path”:”/some/other/output/path”
}
Я пока вижу опции по типу jsonnet или hocon.
AE
мы даём инпутам и джобам имена, а потом ссылаемся по полному имени типа джоб_инпут