вернее разница будет определенная если запускать на распределенном кластере
а то что поднять одну машинку в виртуалке или запустить local[*] почти не отличается

в pom.xml
       <dependency>
           <groupId>org.apache.spark</groupId>
           <artifactId>spark-core_2.11</artifactId>
           <version>2.1.1</version>
           <scope>test</scope>
       </dependency>
ну и
public class TestRunner extends AbstractRunner {
   private static SparkConf sparkConf = new SparkConf()
           .setAppName("test")
           .set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
           .setMaster("local[*]");
и т.п.

и незачем что-то развёртывать

Просветите. Насколько жив apache druid ? Зачем он нужен ,если есть hive и Спарк ?

я бы сказал так - зачем нужен друид, если есть КХ

интересно, насколько известен кх за пределами россии

Доброе утро. Подскажите, пожалуйста, что я делаю не так. Задача состоит в том, чтобы хранить в hbase ровно одну версию записи, но при этом версия эта самая ранняя. Делаю шаблонно put. setTimestamp(Long.MAX_VALUE- System.currentTimeMillis()) но получаю все равно последнее записанное с этим rowkey значение.

зачем нужен трактор если есть болид f1?

это немного разной задачи и архитектуры продукты
хоть hive уже вроде даже в druid научился закидывать запросы

выжать ответы в пределах 1-2c из sparksql не получится
друид под это делался

А почему тогда не импала , если нужно маленькое лэтанси ?

импала это больше sql с джойнами и тд, хоть и умеет делать агрегаты, но не так оптимизированна
druid это olap с заточкой сугубо под агрегаты, сделать “select * “ можно, но реконструкция оригинальной записи очень дорогая операция

и да, импала это не 1-2 секунды =)

И если нужно  такое маленькое лэтанси , то это скорее уже не про аналитику ?

дашборды всякие

druid, pinot (от линкедин), clickhouse  продукты одного типа

как делать интерактивные дашборды различных агрегатов

ключевое слово: ИНТЕРАКТИВНЫЕ
а не закинул запрос в реляционку и ушёл на обед

А как архитектурно друид от КХ отличается? С КХ я работаю и его архитектуру знаю.

катастрофически

ты видел сколько ролей в друиде? минимум три разных типа нод

в КХ - все ноды гомогенны

Nikolay https://medium.com/@leventov/comparison-of-the-open-source-olap-systems-for-big-data-clickhouse-druid-and-pinot-8e042a5ed1c7