Телеграмм чат группы AwesomeKafka

Size: a a a

Грефневая Кафка (pro.kafka)

2021 July 22

#партнерскийматериал

👨‍💻 Начните изучать web-разработку на Scala с открытого урока «Разделение команд и запросов».

Вместе с преподавателем Вадимом Опольским, Scala Big Data разработчиком в Luxoft, вы разберете CQS и кейсы для использования. А также получите макет с реализацией read side и следующих технологий Akka Actor (typed), Akka Persistense и Cassandra.

🗓 Занятие пройдет 26 июля в OTUS.

🔗 Для регистрации на вебинар пройдите вступительный тест https://otus.pw/6BjB/

источник

235109:00пожаловаться #1

Грефневая Кафка (pro.kafka)

#полезняшка

Меня часто спрашивают™ про всякие штуки в мире Кафка. И похоже не меня одного. Поэтому Gunnar Morling HPG сделали прикольный вебсайтик, где собрали все возможные около-кафковские штуки.

источник

301220:56пожаловаться #2

2021 August 07

Грефневая Кафка (pro.kafka)

#партнерскийматериал

Хотите разбираться в архитектуре приложений?

Начните осваивать навыки уже 11 августа на demo-уроке «Общие шаблоны распределения ответственностей».
Вместе с преподавателем Владиславом Родиным вы проанализируете функциональное разделение функционала и рассмотрите 9 шаблонов GRASP.

Demo-занятие является часть онлайн-курса «Архитектура и шаблоны проектирования» от OTUS.

Для регистрации пройдите вступительный тест https://otus.pw/uKvz/

источник

261208:00пожаловаться #3

2021 August 10

Грефневая Кафка (pro.kafka)

Конфлюент выкатили обновленный Confluent Developer сайт.
Появились бесплатные курсы (кстати выкатили мой курс по Спрингу yay, появился раздел с Event Streaming Patters, так же полно всякой инфы, например раздел про тестирование.
В общем, оч приятное обновление.
P.s. Напишите, если вы что-то полезное нашли для себя.

источник

253619:50пожаловаться #4

2021 August 19

Грефневая Кафка (pro.kafka)

#Полезняшка для Scala-бояр

> The aim of this library is to provide the Lego™ bricks to build a serializer/deserializer for kafka messages.

https://github.com/ovotech/kafka-serialization

Присутствует куча интеграцией со всякими Scala библиотеками.
Видел ли кто что-то подобное для Java или Kotlin??

GitHub

GitHub - ovotech/kafka-serialization: Lego bricks to build Apache Kafka serializers and deserializers

Lego bricks to build Apache Kafka serializers and deserializers - GitHub - ovotech/kafka-serialization: Lego bricks to build Apache Kafka serializers and deserializers

источник

220905:22пожаловаться #5

Грефневая Кафка (pro.kafka)

А вот ещё одна Авро #Полезняшка

https://github.com/artemyarulin/avro-kafka-deserializable

Патч, который позволяет генерировать java классы, которые сразу умеют себя сериализовать и десериализовать без конфлюентовских библиотек и даже без Schema Registry.

GitHub

GitHub - artemyarulin/avro-kafka-deserializable: Generate Java classes from Avro which already implements Deserializer, Serializer, Serde and use it in Kafka/Kafka Streams without extra code

Generate Java classes from Avro which already implements Deserializer, Serializer, Serde and use it in Kafka/Kafka Streams without extra code - GitHub - artemyarulin/avro-kafka-deserializable: Gene...

источник

284215:09пожаловаться #6

2021 September 09

Грефневая Кафка (pro.kafka)

Я просто хочу тут быстренько напомнить, что #KafkaSummit уже на следующей неделе.
Да, виртуально. Да, требуется регистрация.
Но должно быть интересно!
https://www.kafka-summit.org/events/kafka-summit-americas-2021/about

источник

224918:43пожаловаться #7

2021 September 10

Грефневая Кафка (pro.kafka)

Традиционная рубрика #полезняшка
https://github.com/kcctl/kcctl
Kafka Connect Control - CLI для управления Коннектом. Можно смотреть инфу о кластере, обновлять конфиги для коннекторов, запускать и останавливать коннекторы. Многие CLI тулы это могут уже, но вот такая милая безделушка. Написана на Java и Quarkus (если вы понимаете о чем я)

GitHub

GitHub - kcctl/kcctl: A command line client for Kafka Connect

A command line client for Kafka Connect. Contribute to kcctl/kcctl development by creating an account on GitHub.

источник

235520:26пожаловаться #8

2021 September 16

Грефневая Кафка (pro.kafka)

#партнерскийматериал

Повысьте свою эффективность работы с данными. Начните осваивать продвинутые инструменты дата инженера 27 сентября на demo-занятии «Приземление (слово то какое, прим. @gamussa) данных с помощью Apache Flink».
Вебинар проведет Вадим Опольский, Scala Big Data разработчик в Luxoft. За 1,5 часа вы разберете проблемы чтения и записи данных из Apache Kafka. Познакомитесь с Apache Flink и посмотрите на стенде, как можно эти проблемы решить.

Demo-занятие входит в программу онлайн-курса «Spark Developer» от OTUS.
====
Для регистрации на вебинар пройдите вступительный тест https://otus.pw/PQWy/ 🙌

источник

224108:00пожаловаться #9

2021 September 24

Грефневая Кафка (pro.kafka)

🚀 Смотрите какую годноту завезли в #ksqldb
- Represent byte arrays using the BYTES data type - мечта любителей хранить картинки в кафке

`CREATE STREAM images (name STRING, image BYTES)
WITH (kafka_topic='images', value_format='json');
CREATE STREAM png_images AS SELECT * FROM images WHERE SUBSTRING(image, 0, 😍 = TO_BYTES('89504E470D0A1A0A', 'hex');`

https://www.confluent.io/blog/announcing-ksqldb-0-21-new-features-major-upgrades

Confluent

Announcing ksqlDB 0.21 - New Features and Major Upgrades

Here's a complete overview of ksqlDB 0.21! Check out our newest features and major upgrades to foreign-key joins, new data type BYTES, and a new ARRAY_CONCAT function, also available in Confluent Cloud.

источник

179019:46пожаловаться #10

2021 September 26

Грефневая Кафка (pro.kafka)

📣 сегодня на сайте издательства Мэннинг книги по #streamprocessing (Kafka in Action, Event Streaming with Kafka Streams and ksqlDB) можно забрать со скидкой 40%

https://twitter.com/manningbooks/status/1442081629942386692?s=21

Если не успеете забрать сегодня, Kafka in action только для подписчиков этого канала доступна со скидкой 35% если использовать код kafkaa35

Twitter

Manning Publications

Deal of the Day, Sep 26: Event Streaming with Kafka Streams and ksqlDB and select titles are on sale. Check them out:: mng.bz/WrEx #kafkastreams #apachekafka #bigdata #datastreaming #kqsIDB

источник

365823:37пожаловаться #11

2021 September 27

Грефневая Кафка (pro.kafka)

Как использовать Spark по максимуму?
Знают в NewProLab: ведущий провайдер курсов в области Big Data объявляет запуск сразу 2 онлайн-курсов по работе с фреймворком Spark.

📌"Apache Spark и Scala для дата инжиниринга": старт 5 октября 👉🏻 https://clck.ru/XkxDT
Вас ждет: подготовка витрин данных, создание real-time приложений, работа со Scala API, Dataframes, Structured Streaming, Kafka, Elasticsearch, Cassandra, PostgreSQL, HDFS.

Преподает: Андрей Титов (NVIDIA) и Егор Матешук (Qvant).

📌"Apache Spark Advanced": начало 16 ноября 👉🏻 https://clck.ru/XkxGS
Новый продвинутый курс для дата-инженеров и разработчиков, имеющих практический опыт работы со Spark. Курс позволяет отработать навыки, необходимые для ускорения обработки данных и усовершенствования архитектуры существующих проектов. Вы глубоко погрузитесь в Dataframe API, py4j в pyspark, Spark Structured Streaming, Scala UDF в pyspark, org.apache.spark.sql.Row, разработку коннекторов с использованием Datasource v1 API, параллелизм задач.

Преподает: Андрей Титов (NVIDIA).

Специально для подписчиков нашего канала действует дополнительная скидка 15% (от цены, указанной на сайте) по промокоду "awesomekafka_ru".

Выбирайте программу. Оставляйте заявку. Задавайте вопросы.

источник

240608:00пожаловаться #12

2021 November 10

Грефневая Кафка (pro.kafka)

Для любителей теоретического материала, отличная серия статей о Streaming SQL
- Readings in Streaming Database Systems
- Future of SQL
- 4 Key Design Principles and Guarantees of Streaming Databases
- How Do You Change a Never-Ending Query?

YouTube

Database Streaming with Apache Kafka

https://cnfl.io/database-streaming-with-apache-kafka | Database streaming enables data ingestion, processing, storage, and enrichment on real-time data, as soon as it’s generated. A streaming database also unlocks real-time insights and analytics on those data streams, allowing you to simultaneously update the results of any registered queries, unlike a traditional database where processing only happens at read time during query execution.

To get a streaming database production ready, there are steps required to get it right. The Stream Processing team led by Michael Drogalis (Principal Product Manager, Confluent), also the folks who helped build ksqlDB—a streaming database purpose-built for stream processing applications, available in Confluent Cloud, has released a series of technical papers on the Confluent blog to tell you all about streaming databases.

The series includes blog posts by:
► Michael Drogalis (Principal Product Manager, Confluent), who explains the foundations in streaming database design…

источник

226108:57пожаловаться #13

Грефневая Кафка (pro.kafka)

#партнерскийматериал

Разработка на Scala — набирающий обороты тренд.
Начните изучать ее с открытых уроков от OTUS:

🗓 11.11 — открытый урок «Scala коллекции». Познакомимся с основными Scala коллекциями, рассмотрим что у них общего и в чем отличия.
Регистрация: https://otus.pw/eF2s/

🗓 17.11 — открытый урок «Scala и парсер-комбинаторы». Познакомимся с парсер-комбинаторами на Scala. Будем парсить описание REST API написанное с помощью markdown.
Регистрация: https://otus.pw/lv3O/

👨🏻‍💻 Ведущий: Алексей Воронец, руководитель разработки в NAUMEN, 12 лет опыта профессиональной разработки

👉🏻 Проверьте, готовы ли вы к обучению, пройдя тест при регистрации. Также вы сможете познакомится с продвинутым онлайн-курсом «Scala Developer» от OTUS.

Otus

Scala-разработчик, программирование в Scala и самым мощным Scala-библиотекам

Станьте профессиональным разработчиком на Scala. Пройдите курс в Otus и научитесь профессионально создавать приложения на Scala

источник

112616:53пожаловаться #14