Телеграмм чат группы proKafka страница 1920

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pro.kafka

2553 membersпожаловаться на группу

2021 July 09

DG

Dmitry Goncharov in pro.kafka

Может кто нить посоветовать настройки под 50K RPS (sum (rate(kafka_network_requestmetrics_requests_total{instance=~"$node"}[1m])))?
num.network.threads=1000
queued.max.requests=3000
num.io.threads=32
num.replica.fetchers=32

источник

01:21пожаловаться #1

T

Tim in pro.kafka

я не настоящий сварщик, но 1000 тредов это если только у вас там 200 или 300 ядер на машине
обычно там 5-10 или типа

источник

01:27пожаловаться #2

DG

Dmitry Goncharov in pro.kafka

https://docs.cloudera.com/cdp-private-cloud-base/7.1.6/kafka-performance-tuning/topics/kafka-tune-broker-tuning-network-io.html

Network and I/O threads

Learn more about the configuration properties related to network and I/O threads.

источник

01:27пожаловаться #3

DG

Dmitry Goncharov in pro.kafka

num.network.threads is an important cluster-wide setting that determines the number of threads used for handling network requests (that is, receiving requests and sending responses). Set this value mainly based on number of producers, consumers and replica fetchers.

источник

01:27пожаловаться #4

DG

Dmitry Goncharov in pro.kafka

ну и если я ставлю 1000 тредов на обработку запросов - 30 % cpu у 16 ядер

источник

01:29пожаловаться #5

T

Tim in pro.kafka

не надо ставить 1000 тредов, тред снимать ставить с ядра - относительно дорогая операция
повышает непроизводительные затраты на context switching

источник

01:30пожаловаться #6

T

Tim in pro.kafka

и это не про кафку, это вообще в целом про системы с тредами

источник

01:33пожаловаться #7

DG

Dmitry Goncharov in pro.kafka

а что делать если утилизация num.io.threads=32 очень высокая и треды утилизируються?

источник

01:33пожаловаться #8

T

Tim in pro.kafka

утилизация чего и на что, что у вас vmstat показывает?

источник

01:33пожаловаться #9

DG

Dmitry Goncharov in pro.kafka

утилизация num.io.threads=32

источник

01:34пожаловаться #10

T

Tim in pro.kafka

сколько у вас ядер на машине где брокер

источник

01:35пожаловаться #11

DG

Dmitry Goncharov in pro.kafka

procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
2 0 7680 215436 0 20935788 0 0 6 158 1 1 14 4 82 0 0

источник

01:35пожаловаться #12

DG

Dmitry Goncharov in pro.kafka

16 ядер vcpu

источник

01:35пожаловаться #13

DG

Dmitry Goncharov in pro.kafka

диски простаивают

источник

01:39пожаловаться #14

T

Tim in pro.kafka

надо смотреть во что у вас там упирается, в IO или во что-то другое
cs и in это context switches/interruptions, меньше - лучше
я так понимаю у вас есть нагрузочные тесты - посмотрите с 16 тредами и с 32 разницу в cs
волшебства же нет - там всего 16 тредов одновременно могут работать, если сделать тредов больше, то ядер всем всё равно не хватит

источник

01:39пожаловаться #15

DG

Dmitry Goncharov in pro.kafka

avg-cpu: %user %nice %system %iowait %steal %idle
13.76 0.00 3.78 0.02 0.00 82.44

источник

01:44пожаловаться #16

DG

Dmitry Goncharov in pro.kafka

вот именно что ни во что не упираеться но num.io.threads прям в 0 на нодах где сонсюмер группа нагруженная

источник

01:45пожаловаться #17

DG

Dmitry Goncharov in pro.kafka

кафка 2.4.0

источник

01:50пожаловаться #18

T

Tim in pro.kafka

а размер сообщения какой? и сколько консюмеров-продюсеров-партишенов?

источник

01:53пожаловаться #19

DG

Dmitry Goncharov in pro.kafka

партишинов 4к / продюсеров 400/ консюмеров 400 (инстансов сервиса)

источник

02:43пожаловаться #20