AP
и на каждой тачке зк тоже есть вроде
Size: a a a
2020 July 12
AP
Nikolay
А какой там фул стэк Трэйс. Где эта ошибка возникает
2020-07-12 12:32:40 ERROR AssignedStreamsTasks:212 - stream-thread [sharder-application-9c5a9a7d-c4fa-481b-b458-6aafd11a6520-StreamThread-3] Failed to process stream task 0_12 due to the following error:
org.apache.kafka.streams.errors.StreamsException: Exception caught in process. taskId=0_12, processor=KSTREAM-SOURCE-0000000000, topic=likemore-go.imgsmail.ru__recostream_pxt_access_log, partition=12, offset=3467329037, stacktrace=org.apache.kafka.common.errors.TimeoutException: Topic recostream_test not present in metadata after 60000 ms.
at org.apache.kafka.streams.processor.internals.StreamTask.process(StreamTask.java:383)
at org.apache.kafka.streams.processor.internals.AssignedStreamsTasks.process(AssignedStreamsTasks.java:199)
at org.apache.kafka.streams.processor.internals.TaskManager.process(TaskManager.java:420)
at org.apache.kafka.streams.processor.internals.StreamThread.runOnce(StreamThread.java:890)
at org.apache.kafka.streams.processor.internals.StreamThread.runLoop(StreamThread.java:805)
at org.apache.kafka.streams.processor.internals.StreamThread.run(StreamThread.java:774)
N
Если это Кафка кластер , то ЗК должен быть в кластере тоже. У каждого ЗК брокера есть конфиг , где прописаны другие брокеры ансамбля
N
А у каждого Кафка брокера должна быть ссылка на брокеры зк в конфиге.
AP
кажется, это всё есть
AP
Переслано от Nikolay
Если это Кафка кластер , то ЗК должен быть в кластере тоже. У каждого ЗК брокера есть конфиг , где прописаны другие брокеры ансамбля
AP
Переслано от Nikolay
А у каждого Кафка брокера должна быть ссылка на брокеры зк в конфиге.
GG
Я рекомендую перестать фигней
N
2020-07-12 12:32:40 ERROR AssignedStreamsTasks:212 - stream-thread [sharder-application-9c5a9a7d-c4fa-481b-b458-6aafd11a6520-StreamThread-3] Failed to process stream task 0_12 due to the following error:
org.apache.kafka.streams.errors.StreamsException: Exception caught in process. taskId=0_12, processor=KSTREAM-SOURCE-0000000000, topic=likemore-go.imgsmail.ru__recostream_pxt_access_log, partition=12, offset=3467329037, stacktrace=org.apache.kafka.common.errors.TimeoutException: Topic recostream_test not present in metadata after 60000 ms.
at org.apache.kafka.streams.processor.internals.StreamTask.process(StreamTask.java:383)
at org.apache.kafka.streams.processor.internals.AssignedStreamsTasks.process(AssignedStreamsTasks.java:199)
at org.apache.kafka.streams.processor.internals.TaskManager.process(TaskManager.java:420)
at org.apache.kafka.streams.processor.internals.StreamThread.runOnce(StreamThread.java:890)
at org.apache.kafka.streams.processor.internals.StreamThread.runLoop(StreamThread.java:805)
at org.apache.kafka.streams.processor.internals.StreamThread.run(StreamThread.java:774)
какая версия кафки?
GG
И воспользоваться готовым Кафка оператором. Сам найдешь ?
GG
и на каждой тачке зк тоже есть вроде
И что ?
GG
Переслано от Nikolay
Если это Кафка кластер , то ЗК должен быть в кластере тоже. У каждого ЗК брокера есть конфиг , где прописаны другие брокеры ансамбля
👆это
AP
Nikolay
какая версия кафки?
GG
Переслано от Nikolay
А у каждого Кафка брокера должна быть ссылка на брокеры зк в конфиге.
И это 👆 но ссылка должна быть на все зукиперы
AP
И воспользоваться готовым Кафка оператором. Сам найдешь ?
жесть
N
это очень старая надо признать. сейчас смотрю, что там в 383 строке https://github.com/apache/kafka/blob/0.10.2/streams/src/main/java/org/apache/kafka/streams/processor/internals/StreamTask.java
N
возмите лучше более свежую версию. там теперь офсеты даже не храняться в ЗК. старая версия будет тормозить
AP
это сложновато будет сделать
R
Посоветуйте нормальный чарт для хелма чтобы там было все. Или best practises с примером
GG
Посоветуйте нормальный чарт для хелма чтобы там было все. Или best practises с примером
Для чего?