GP
Ну т.е. несколько стримов создать нельзя, только 1 и там уже раскладывать по табличкам?
сколько угодно можно, у тебя твой цикл висит чисто из-за того что ты эвейтиш его после каждой итерации зачем-то
Size: a a a
2019 October 10
GP
Вынеси эвейт за фор и все работать будет
OI
а, блин
точно
спасибо!)
точно
спасибо!)
GP
spark.streaming.concurrentJobs тоже пригодиться может для одновременного процессинга ‘джоб’
GP
ткак стрима 4 может хотеться их параллельно процесить
OI
Окей, пасиб) а без dynamic allocation норм будет или лучше добавить?
OI
А то у меня почему-то при dynamic вешается на cannot allocate resources
GP
поставь минимальные и максимальные лимиты при даннймик алокейшене
OI
чота не помогает(
он съедает столько ресурсов, сколько может, а потом всё равно виснет на
он съедает столько ресурсов, сколько может, а потом всё равно виснет на
19/10/10 09:17:26 WARN YarnScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resourcesF
Всем привет, чем лучше примонтировать HDFS кроме как cloudera fuse? х32 система...
A
ну был еще hdfs nfs вариант
A
@flo_fd https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-hdfs/HdfsNfsGateway.html
сам не пользовался, ничего не гарантирую
сам не пользовался, ничего не гарантирую
F
хотелость бы конечно через fuse какой... но судя по всему нет норм аналогов. буду пробовать что ж поделаешь
F
спасибо
A
так cloudera fuse это тот fuse который сразу в коробке с хадупом и идёт
A
какие еще аналоги хочется?
F
так cloudera fuse это тот fuse который сразу в коробке с хадупом и идёт
я думал что там допилено что то для hdfs
A
вы наверное немного что-то перепутали
F
вы наверное немного что-то перепутали
наверное... пойду читать, спасибо