What all technology i should start with?
Please help

df.write
  .format("kafka")
  .option("kafka.bootstrap.servers", "host1:port1,host2:port2")
  .option("topic", "topic1")
  .save()

спасибо, но это не работает с версией спарка 2.1.0

ну тогда либо ваш вариант, либо какая-нибудь либа, вроде https://spark-packages.org/package/BenFradet/spark-kafka-writer, либо обновить спарк :)

Это спаммер только что был

Его изо всех тематических каналов повыпиливали

я заметил, спасибо

Товарищи инженеры, кто пробовал DataProc из Яндекс.Облака?
К чему он ближе с точки зрения operations - к GC DataProc или к AWS EMR?

Для Кассандры есть бесплатные ГУИ клиенты?

нет

но если просто посмотреть кейспейсы

можно через визуалстужию код

Есть jdbc драйвера для неё.
И есть разные клиенты, которые умеет через jdbc кастомные.

DevCenter 1.5.0

Спасибо

Привет всем,
Может кто помочь с интеграцией Spark/Kafka:

Надо загрузить DataFrame в Kafka (т.е передать messages).
Мы не используем Spark Streaming. Работаем со SparSQL 2.1.0.
И тут мне пришел request, что нужно иметь delay, т.е.: отрпавил 10.000 строк, жду 20 сек, отправляю дальше. Есть ли нормальный (нативный) способ сделать это, если работаю только со Spark SQL + kafka-clients? Или надо писать что-то своё?).
Ниже код, который использую сейчас:

Поможет ли Spark Streaming решить эту проблему? :)

А можно вопрос: зачем новый продюсер на каждую партицую?

Ну выполняются то они на воркерах :) там поднялись, записали, заглушились