MB
но со временем может и 50 и 100 стать
Size: a a a
2021 January 26
MB
целесообразно для каждого файла создавать отдельный поток?
AZ
и вторая проблема, что мне нужно писать не в один файл, а в несколько, я даже не знаю со временем на сколько это количество может возрасти, там просто идёт парсинг входящего файла и по одному из полей создаётся каталог
Я не уверен что понимаю вашу проблему, писать разные файлы из одного приложения это вроде тривиальная задача
MB
Я не уверен что понимаю вашу проблему, писать разные файлы из одного приложения это вроде тривиальная задача
тогда буду на практике пробовать, спасибо за советы, были полезные
AZ
целесообразно для каждого файла создавать отдельный поток?
Это зависит от вашего стека и потока
2021 January 27
AZ
тогда буду на практике пробовать, спасибо за советы, были полезные
Посмотрите как работает этот коннектор, какие параметры конфигурации позволяет задавать, мб послужит вдохновением для вас
MB
спасибо, обязательно гляну
AA
Ребята, никто не сталкивался с ошибками "Executor is not registered" при shuffle в spark?
D
/stat@combot
C
Total messages: 74994
e
Народ, подскажите , в логах в каких единицах отражается память ? в mb ?
2021-01-27 09:29:26,049 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerAllocator: Recalculating schedule, headroom=<memory:179200, vCores:13>A
да
A
all YARN configurations have specified memory in MB
AZ
Apache Iceberg 0.11.0 release http://iceberg.apache.org/releases/#0110-release-notes
AV
Привет, подскажите плиз, у confluent есть Kafka connect sink JDBC
эта штука open source или требуется подписку на confluent platform и используется исключительно в этом коробочном решении?
эта штука open source или требуется подписку на confluent platform и используется исключительно в этом коробочном решении?
AV
и для того чтобы условно подружить Debezium to Kafka с синком в JDBC хранилище, это надо либо писать свой коннектор в Kafka connect фреймворке или брать свою kafka либку и в качестве consumer данные записывать?
AZ
Привет, подскажите плиз, у confluent есть Kafka connect sink JDBC
эта штука open source или требуется подписку на confluent platform и используется исключительно в этом коробочном решении?
эта штука open source или требуется подписку на confluent platform и используется исключительно в этом коробочном решении?
этот коннектор использует confluent community license, вы можете использовать его для определенных вещей, но строить сервисы которые конкурируют с Confluent нельзя https://github.com/confluentinc/kafka-connect-jdbc
AV
этот коннектор использует confluent community license, вы можете использовать его для определенных вещей, но строить сервисы которые конкурируют с Confluent нельзя https://github.com/confluentinc/kafka-connect-jdbc
получается что я могу установить Apache версию kafka, сверху поставить kafka connect и скачать этот коннектор?