Size: a a a

2021 October 25

А

Александр in Moscow Spark
Узники стека технологий(
источник

SS

Sergey Sheremeta in Moscow Spark
попробуйте вынести вопрос замены на архитектурный комитет.
попробуйте пообщаться с командой ScyllaDB - очень отзывчивые и адекватные ребята! много русских. покажут-расскажут-помогут мигрировать
источник

SS

Sergey Sheremeta in Moscow Spark
недавно закончил бенчмарки HBase-over-EC2/DynamoDB/ScyllaDB-over-EC2.
Сцилла превосходит всех на голову по производительности и по ТСО.
и в цеом очень приятное впечатление от работы с ней! вспоминаю "ночи страсти" с HBase - аж передергивает
источник

GP

Grigory Pomadchin in Moscow Spark
а vs cassandra?
источник

GP

Grigory Pomadchin in Moscow Spark
просто такие бенчи и vs cassandra дадут результат что кассандра на голову превосходит
источник

A

Alex in Moscow Spark
ну в лоб я бы их так не сравнивал
если у вас только kv дело ограничивается, то ок

а если что-то более велёлое делали на ней, то просто как замена это "ну такое"
источник

GP

Grigory Pomadchin in Moscow Spark
зависит от размеров датасета конечно и типов ключей
источник

SS

Sergey Sheremeta in Moscow Spark
на нее сил не хватило, позже для успокоения совести тоже сделаю
источник

AS

Andrey Smirnov in Moscow Spark
согласен, сравнение CP и AP такое себе занятие
источник

AS

Alexander Shorin in Moscow Spark
как у неё с запросами по данным не через индексы? с ними всё понятно - хорошо. без них раньше разваливался кластер только так.
источник

AS

Andrey Smirnov in Moscow Spark
allow filtering это антипаттерн
источник

AS

Alexander Shorin in Moscow Spark
это бизнес ну /:
источник

A

Alex in Moscow Spark
ну мы в своё время там порядочно логики в сопроцессоры запихнули
в итоге если нету сериализации-десириализации данных(а в случае сопроцессоров этого нету), то достаточно большие агрегаты считало в миллисекунды

ну и конечно нужно было сплитер правильный проставить, чтобы не ходило в соседний регион, а по указанному агрегату на одном сервере было

тащить все данные на клиента, чтобы потом сделать агрегацию не обязательно
источник

A

Alex in Moscow Spark
когда всё тянули на клиента в первом прототипе, то конечно было больно
источник

SS

Sergey Sheremeta in Moscow Spark
мне нужен индексный доступ, даже в 95% доступ по ключу. собственно такой паттерн нагрузки и закладывал в YCSB
источник

ТМ

Тимур Москов... in Moscow Spark
источник
2021 October 26

MK

Mikhail Kuznetsov in Moscow Spark
Коллеги, поделитесь опытом как вы проводите юнит-тестирование на кластере (client/cluster) ?
источник

MK

Mikhail Kuznetsov in Moscow Spark
Нагуглил https://uncharted.software/blog/continuous-integration-with-apache-spark/
но что-то не взлетело - java.lang.ExceptionInInitializerError при попытке выполнения теста
источник

AS

Alexander Shorin in Moscow Spark
юнит тестирование и на кластере уже немного конфликтуют.
источник

MK

Mikhail Kuznetsov in Moscow Spark
Ок формулировка не совсем корректная, но смысл понятен. Есть тесты которые чекаются в local, хотелось бы запускать их на кластере.
источник