A
Спасибо, не обратил внимания
Size: a a a
2020 February 02
M
А, то есть будет достаточно через HiveContext передавать hive запросы в спарк?
Только хайв контекст со второго спарка deprecated
M
Use SparkSession.builder.enableHiveSupport instead. Since 2.0.0.
ME
Только хайв контекст со второго спарка deprecated
Они слили всё в один вроде
ME
Да, всё стало спарк сессией
А
Use SparkSession.builder.enableHiveSupport instead. Since 2.0.0.
О, круто, спасибо
СК
Всем привет
Мне подсказали, что в этом чате могут помочь по вопросам с Кассандрой.
У меня очень странные трейсы по ней
делаю count запрос по первичному ключу, а трейс показывает, что в запросе приняли участие все ноды кластера, а должен быть один в моем понимании
запросы выполнял с уровнем консистентности LOCAL_ONE
Мне подсказали, что в этом чате могут помочь по вопросам с Кассандрой.
У меня очень странные трейсы по ней
делаю count запрос по первичному ключу, а трейс показывает, что в запросе приняли участие все ноды кластера, а должен быть один в моем понимании
запросы выполнял с уровнем консистентности LOCAL_ONE
GP
Всем привет
Мне подсказали, что в этом чате могут помочь по вопросам с Кассандрой.
У меня очень странные трейсы по ней
делаю count запрос по первичному ключу, а трейс показывает, что в запросе приняли участие все ноды кластера, а должен быть один в моем понимании
запросы выполнял с уровнем консистентности LOCAL_ONE
Мне подсказали, что в этом чате могут помочь по вопросам с Кассандрой.
У меня очень странные трейсы по ней
делаю count запрос по первичному ключу, а трейс показывает, что в запросе приняли участие все ноды кластера, а должен быть один в моем понимании
запросы выполнял с уровнем консистентности LOCAL_ONE
LOCAL_ONE о консистентности в рамках одного датацентра, лучше посмотри описание каждого уровня https://docs.datastax.com/en/cassandra-oss/3.0/cassandra/dml/dmlConfigConsistency.html
СК
LOCAL_ONE о консистентности в рамках одного датацентра, лучше посмотри описание каждого уровня https://docs.datastax.com/en/cassandra-oss/3.0/cassandra/dml/dmlConfigConsistency.html
У меня всего один дц
2020 February 03
DG
Всем привет
Мне подсказали, что в этом чате могут помочь по вопросам с Кассандрой.
У меня очень странные трейсы по ней
делаю count запрос по первичному ключу, а трейс показывает, что в запросе приняли участие все ноды кластера, а должен быть один в моем понимании
запросы выполнял с уровнем консистентности LOCAL_ONE
Мне подсказали, что в этом чате могут помочь по вопросам с Кассандрой.
У меня очень странные трейсы по ней
делаю count запрос по первичному ключу, а трейс показывает, что в запросе приняли участие все ноды кластера, а должен быть один в моем понимании
запросы выполнял с уровнем консистентности LOCAL_ONE
А если сделать обычный запрос по тому же ключу сколько нод затронуто?
Насколько я знаю, count это синтаксический сахар, с т.з. базы действия те же.
Насколько я знаю, count это синтаксический сахар, с т.з. базы действия те же.
СК
А если сделать обычный запрос по тому же ключу сколько нод затронуто?
Насколько я знаю, count это синтаксический сахар, с т.з. базы действия те же.
Насколько я знаю, count это синтаксический сахар, с т.з. базы действия те же.
Одна
СК
То есть без подсчёта все работает как ожидается
DG
Хмм, тогда у меня есть предположение про спекулятивное чтение, но на 100% не уверен.
DG
А если сделать обычный запрос по тому же ключу сколько нод затронуто?
Насколько я знаю, count это синтаксический сахар, с т.з. базы действия те же.
Насколько я знаю, count это синтаксический сахар, с т.з. базы действия те же.
Видимо теперь это не одно и тоже)
СК
Такое ощущение что дешевле считать данные и посчитать в приложении
СК
Но надо проверить
AS
tracing on; что говорит?
СК
Tracing говорит что ноды постоянно друг другу отправляют запросы ещё read repair довольно часто делают
Что конкретно посмотреть в трейсе ?
Что конкретно посмотреть в трейсе ?
СК
полно такого
AS
здесь https://academy.datastax.com/support-blog/counting-keys-might-well-be-counting-stars говорят что And really, this is what COUNT() does -- it reads all the partitions across all the SSTables (and memtables) across all the nodes in the Cassandra ring in order to come up with the result. Почему это происходит лично мне непонятно так как партиция одна. У человека такой же вопрос был и выяснил что проблема была в tomstones https://stackoverflow.com/questions/56125982/why-cassandra-count-on-a-specific-partition-takes-really-long-on-relatively-s в общем надо больше информации знать о проблеме
