R
а вот вопросик - кто нибудь пробовал crate.io / snowflakeDB?
Size: a a a
2019 October 09
ДШ
ДШ
А что за вопрос?
R
как у него с поддержкой вложенных структур? я вижу что она есть по типам данных, но я имею в виду индексирование например
ДШ
Все колонки автоматом индексируются
ДШ
Включая вложенные
ДШ
Есть сложности с массивами
ДШ
Но в целом - весьма неплохо
ДШ
При поиске он учитывет все затрагиваемые индексы
2019 October 10
S
Технологии Big Data в цифровой ортодонтии. Игорь Сухоруков, Big Data тимлид в Align Technology.
S
даже и непонятно
S
как он туда прокрался
OI
Привет) вопрос
Можно ли в одном джобе запустить несколько стримов? И, если можно, то как?)
Я пробовал насоздавать в цикле несколько стримов
Что логично, он доходит до первого стрима и на нём и остаётся 😊
Есть ли стандартная апишка для этого? Или надо прям параллелить внутри джоба на несколько тредов или процессов и из каждого запускать стрим?
Можно ли в одном джобе запустить несколько стримов? И, если можно, то как?)
Я пробовал насоздавать в цикле несколько стримов
for (topic <- topics_list) {
...
val stream_write = sparkSession.readStream.schema (input_data_schema).format ("parquet").load (files_path)
.writeStream.foreachBatch (call_proc).outputMode ("append").start ()
stream_write.awaitTermination ()
sparkSession.stop ()
}Что логично, он доходит до первого стрима и на нём и остаётся 😊
Есть ли стандартная апишка для этого? Или надо прям параллелить внутри джоба на несколько тредов или процессов и из каждого запускать стрим?
GP
Привет) вопрос
Можно ли в одном джобе запустить несколько стримов? И, если можно, то как?)
Я пробовал насоздавать в цикле несколько стримов
Что логично, он доходит до первого стрима и на нём и остаётся 😊
Есть ли стандартная апишка для этого? Или надо прям параллелить внутри джоба на несколько тредов или процессов и из каждого запускать стрим?
Можно ли в одном джобе запустить несколько стримов? И, если можно, то как?)
Я пробовал насоздавать в цикле несколько стримов
for (topic <- topics_list) {
...
val stream_write = sparkSession.readStream.schema (input_data_schema).format ("parquet").load (files_path)
.writeStream.foreachBatch (call_proc).outputMode ("append").start ()
stream_write.awaitTermination ()
sparkSession.stop ()
}Что логично, он доходит до первого стрима и на нём и остаётся 😊
Есть ли стандартная апишка для этого? Или надо прям параллелить внутри джоба на несколько тредов или процессов и из каждого запускать стрим?
Можно без паралела - читани из разных сурсов и мапайся/ форичись / джойнись
GP
он ждать будет только на
ssc.awaitTerminationGP
у тебя висит потому что ты в фор компехенщине на первой итерации вешаешь его
OI
у тебя висит потому что ты в фор компехенщине на первой итерации вешаешь его
ну вот я тоже так понял)
OI
Можно без паралела - читани из разных сурсов и мапайся/ форичись / джойнись
Ну т.е. несколько стримов создать нельзя, только 1 и там уже раскладывать по табличкам?
OI
хотя стоп, у меня же схемы разные