RI
Через hbase shell можно попробовать сделать фильтр по ключу и посмотреть, там все символы будут видны
Size: a a a
2020 January 23
N
Там только 2 таймстампа. Сам феникс вовзращает 1 строку. А в итоге в target ClickHouse откуда-то 3 нарисовалось.
RI
Там только 2 таймстампа. Сам феникс вовзращает 1 строку. А в итоге в target ClickHouse откуда-то 3 нарисовалось.
А точно проблема в фениксе?
N
Нет. Но зная всю перелсть феникса, подумал на него в первую очередь.
SS
Не обижай феникс, это все ваш кликхаус чудит
λ
Соль генерирует феникс. SALT_BUCKETS = 30
c /*+ NO_INDEX */ запрос также работает?
N
да, все тож самое
ДА
А ключ подвозят из процессинга, «guid» сущности + числовой тип события + датавремя события
Мне как-то встречалось дублирование записей, если в запросе была указана только часть составного ключа
ДА
Причем чем меньшая часть тем больше дублей
N
у меня в запросе вообще нет ключевых элементов. я вычитываю по неключевому предикату.
ДА
тогда были дубли, да
AZ
точно phoenix -> clickhouse работает через jdbc? если на финиксовые таблицы смотреть через hbase api/shell то для версии ячеек видны..
N
точно phoenix -> clickhouse работает через jdbc? если на финиксовые таблицы смотреть через hbase api/shell то для версии ячеек видны..
Не напрямую. Переливает spring batch
2020 January 24
DM
Ребята, хочу как то выкачать данные из clickhous'a в hdfs, пришел к подходу просто вытянуть спарком и выложить в какой-нибудь путь, посерчил и нашел коннекторы (https://github.com/VaBezruchko/spark-clickhouse-connector), но к сожалению коннектор работает со спарком выше 2.3, (у нас 2.1), готов рассмотреть другие варианты, я не пробовал напрямую с clickhousejdbc драйвером вытянуть, не уверен что спарком 2.1 получится
RI
Ребята, хочу как то выкачать данные из clickhous'a в hdfs, пришел к подходу просто вытянуть спарком и выложить в какой-нибудь путь, посерчил и нашел коннекторы (https://github.com/VaBezruchko/spark-clickhouse-connector), но к сожалению коннектор работает со спарком выше 2.3, (у нас 2.1), готов рассмотреть другие варианты, я не пробовал напрямую с clickhousejdbc драйвером вытянуть, не уверен что спарком 2.1 получится
спарк поддерживает jdbc драйвера, смотри работу спарком через jdbc
S
обычный ждбц драйвер
S
ru.yandex.clickhouse:clickhouse-jdbc:
RI
можно воспользоваться sqoop'ом
DM
проблема со спарком 2.1 при работе с clickhouse jdbc drivera в этом https://github.com/ClickHouse/clickhouse-jdbc/issues/121