Size: a a a

Грефневая Кафка (pro.kafka)

2017 December 15
Грефневая Кафка (pro.kafka)
источник
Грефневая Кафка (pro.kafka)
Приветствую новых подписчиков.
Кстати, приятно, что нет 👎 в прошлом посте, значит моя инициатива интересна.
Обещал начать писать - начинаю.

Пятница, поэтому пятничный пост.
Не совсем про Кафку, но тут присутствуют важные игроки из индустрии.
DataArtisans - ребята, которые разрабатывают Apache Flink и пытаются на нем зарабатывать денежку, написали очень занятный блог про бенчмарки.
Похоже, что не одну индустрию не обходит эта занимательная тема.
История такая, посоны из Databricks (ребята, ковыряют Spark) выложили бенчмарк, в котором Spark Streaming (сурпрайз, сурпрайз) оказался быстрее и Flink и Kafka Streams.
DataArtisans поглядели на это дело, и нашли и засучили рукова.
Оказывается, что в дата генераторе для Flink было один классический баг - LinkedList vs Array(List?). Я не большой эксперт в scala и не могу точно сказать, что скрывается под капотом у Array, но тут на лицо O(n) vs O(1) .
Там еще много чего есть. Отличное пятничное чтиво ☕

Мораль
> (я так приблизительно всегда говорю и клиентам и слушателям)

Не стоит полагаться на бенчмарки при выборе технологии, которая будет критична для вашей продакшн системы.
Проверяйте сами, условия для бенчмарков всегда можно притянуть так, чтобы победил кто надо.
Бенчмарки от вендора - это в двойне подозрительно.
Всегда проверяйте то, что вы используйте.

Берегите себя!
источник
2017 December 17
Грефневая Кафка (pro.kafka)
Пришли выходные.
А это значит, что пора взять плед, глинтвейн или стакан вискаря и какое-нибудь чтиво, и принять удобную позу у камина.
Как я написал в первом посте, цель этого канала - (если не считать самопиара) это ликбез.
Поэтому longread paper для Вас.
Коллега из дружественного чата pro.jvm тут спросил, мол я зря я чат по Кафке запилил, что мол про транспорт / трубу говорить.
Давайте поговорим о трубах
Unix Pipes являются очень мощной концепцией, которую придумал Дуглас Макилрой в 1973, что позволило различным командам стримить свой вывод на вход другой команды.

В папере, который я тут Вам приложу, «отцы Кафки» Мартин К. и Джей К. рассуждают о схожих особенностях Unix систем и Stream Processing систем.

Приятного чтения!
источник
Грефневая Кафка (pro.kafka)
источник
Грефневая Кафка (pro.kafka)
p.s. а еще гифка, которая проиллюстрирует все!
источник
Грефневая Кафка (pro.kafka)
источник
Грефневая Кафка (pro.kafka)
p.p.s Как я уже анонсировал в `pro.jvm`, когда этот канал будет читать достаточное количество народу, запилим чат. Эх, помелочился я с 300 походу...
источник
2017 December 19
Грефневая Кафка (pro.kafka)
Приветствую всех новый подписчиков.

Как-то мне написали, что я никому не говорил, что мы (Confluent) раздаем, пожалуй, самую лучшую книгу по Кафке.
https://www.confluent.io/resources/kafka-the-definitive-guide/

И еще до кучи пару полезных.
https://www.confluent.io/ebook/i-heart-logs-event-data-stream-processing-and-data-integration/
https://www.confluent.io/stream-processing/

Выкладываю PDF-ку главной книги тут.
Для остальных придется заполнить форму, чтобы скачать!
источник
Грефневая Кафка (pro.kafka)
источник
2017 December 20
Грефневая Кафка (pro.kafka)
По работе пришлось много рассказывать клиентам про Exactly once semantics EOS в Кафке.
Подумалось, что получился бы отличный доклад для конференции JPoint 2018, что будет в апреле.

План такой:

- рассказать, как это устроено и как это меняет поведение Producer и Consumer
- атомарная запись на несколько партиций aka transactions
- практическая польза в Kafka Streams и Kafka Connect

P.s. для JBreak в марте я решил делать доклад про KSQL, заявку буду отправлять на этой неделе. Посмотрим, примут ли его в программу

▪️ 71% (87) Конечно, будет 🔥💥🔥!
🔸🔸🔸🔸🔸🔸🔸🔸

▫️ 26% (32) Только, если это будет хардкор 🔩
🔸🔸

▪️ 1% (2) Нафиг не надо 👎

👥 121 - всего голосов
источник
2017 December 21
Грефневая Кафка (pro.kafka)
Не совсем про кафку, но про канал точно расскажу. Приходите, 23 по МСК
источник
Грефневая Кафка (pro.kafka)
Переслано от JBáruch 🎩
Чатег, вы будете удивлены, но сегодня (в четверг) внезапно подкаст. https://www.facebook.com/events/1487958994645687/ Трансляция высочайшего качества будет в фейсбучике.
источник
2017 December 24
Грефневая Кафка (pro.kafka)
Нас уже больше 300!
Придется делать чат. Stay tuned!
источник
Грефневая Кафка (pro.kafka)
Встречаем официальный чат
https://t.me/proKafka
источник
2017 December 27
Грефневая Кафка (pro.kafka)
Ввиду того, что ваш покорный слуга живет и работает в Штатах, последние несколько дней прибываю в Рождественских каникулах.
Поэтому было затишье в этом канале.
LinkedIn в твиторе для инженеров  https://twitter.Com/LinkedInEng  в выложил несколько интересных видосов

-история развития stream processing framework Apache Samsa
- все что вы хотели знать про Consumer Groups
- подробно о том, как работает Controller в Kafka кластере
- много мякотки на тему дисковой подсистемы - JBOD и Kafka

Напоминаю, что у нас появился чат https://t.me/proKafka
источник
2017 December 28
Грефневая Кафка (pro.kafka)
Мы что-то офигели в последнее время и уже каждую неделю выходим в эфир. Вот и сегодня будем записывать новогодний выпуск!

https://www.facebook.com/events/1982193678721873/

Приходите слушать и смотреть онлайн!
источник
2017 December 29
Грефневая Кафка (pro.kafka)
Всех с наступающим!
Не успел вчера в подкасте сказать, но тут выпустили KSQL 0.3.

Новые фичи:

- Поддержка Avro и Schema Registry. Avro и раньше поддерживался, но схемы надо было грузить руками. Теперь KSQL сам создает схему в SR и сам оттуда может вытягивать
- смена формата топика «на лету» - если значения были в JSON, например, можно перевести в Avro.
- так же можно join-ить стримы и таблицы в разных форматах
- добавили поддержку метрик и планов запросов
- ну и как обычно, убрали sleep(2000), чтобы сервер стартовал быстрее.

Блог и примеры тут
https://www.confluent.io/blog/ksql-december-release
источник
2017 December 30
Грефневая Кафка (pro.kafka)
А вот тут Кафка в картинках для самых маленьких (I kid you not)!
Местами присутствуют косяки небольшие (типа offsets уже не хранятся в zookeeper), но выглядит достаточно интересно и весело


https://medium.com/learning-with-diagrams/learning-w-diagrams-intro-to-kafka-510c8f4d7030
источник
Грефневая Кафка (pro.kafka)
Azure team рассказывает про всякие use cases Кафки. Маркетинг? Может быть, но все равно очень интересный взгляд использование технологии

https://youtu.be/gttwnNDHuZ4
источник
2018 January 01
Грефневая Кафка (pro.kafka)
Коллеги, всех с наступающим и наступившим новым годом!
Спасибо, что были с нами в 2017 году.
Оставайтесь с нами в 2018!!! Ура!!!
🎄🎄🎄🎄🎄🎄🎄🎄🎄🎄🎄🎄
p.s. нас уже 400!
источник