Size: a a a

Clojure — русскоговорящее сообщество

2020 July 17

RN

Ryzhikov Nikolay in Clojure — русскоговорящее сообщество
второй запрос
источник

ST

Sergey Trofimov in Clojure — русскоговорящее сообщество
Tim Plotnikov
Я скорее вот к чему. Есть допустим у меня данные, мне нужно из загрузить из базы, сделать filter, group-by, sort-by. Я могу это с одинаковым успехом в SQL-запросе или выгрузить сырые данные и сделать это же прям в коде работая с коллекцией.

Как сделать и почему?)
а вообще, в каждом конкретном случае надо исходить из инженерной оценки, что и где делать, а не по каким-то универсальным правилам
источник

RN

Ryzhikov Nikolay in Clojure — русскоговорящее сообщество
что если у тебя в таблице 1Т данных?
источник

T

The2lb3oz4dr10½grOfH... in Clojure — русскоговорящее сообщество
Tim Plotnikov
С одной стороны перформанс, а с другой - если у пользователя переключатель сортировки? Не делать же заново запрос с другим sort-by.
Всё это наводит меня на мысль, что нужно то или иное использовать в зависимости от ситуации.

Но вот это «в зависимости от ситуации» у меня вызывает следующий диссонанс - если делать в зависмости от ситуации, то получается неконсистентно: в разным местах используются разные способы в одной кодовой базе. И подсознательно кажется что это не очень.

Или думаете это тоже какая-нибудь травма, типа как от орм?))
Делать другой запрос с другим sort-by. Ты же наверняка не выкачаешь всю таблицу этим запросом, а возьмешь только топ10/топ30/топ50/топ100
При другой сортировке новые данные туда просто могут не попасть.
Например, ты сортировал записеи по дате, где сначала были новые. Затем юзер переключил сортировку чтобы сначала были старые. Записей в таблице больше 10,  а рисуешь ты топ10. Часть уже не имеется на клиенте, надо получать
источник

IG

Ivan Grishaev in Clojure — русскоговорящее сообщество
вот именно, что если 1T данных, то выбрал небольшой сабсет и колбасишь чистыми функциями
источник

TP

Tim Plotnikov in Clojure — русскоговорящее сообщество
Ха, звучит вроде всё логично)
источник

RN

Ryzhikov Nikolay in Clojure — русскоговорящее сообщество
Ivan Grishaev
вот именно, что если 1T данных, то выбрал небольшой сабсет и колбасишь чистыми функциями
и платишь за 20 vm вмессто 2
источник

RN

Ryzhikov Nikolay in Clojure — русскоговорящее сообщество
когда датомик подрастет - может так и можно будет делать
источник

IG

Ivan Grishaev in Clojure — русскоговорящее сообщество
ладно, это надо смотреть на конкретных случаях, а то спорить можно бесконечно.
источник

RN

Ryzhikov Nikolay in Clojure — русскоговорящее сообщество
но сейчас это слишком дорого и медленно
источник

ИФ

Иван Федоров... in Clojure — русскоговорящее сообщество
Ivan Grishaev
вот именно, что если 1T данных, то выбрал небольшой сабсет и колбасишь чистыми функциями
это не стареет (простите за офтоп)
https://adamdrake.com/command-line-tools-can-be-235x-faster-than-your-hadoop-cluster.html
источник

TP

Tim Plotnikov in Clojure — русскоговорящее сообщество
Что там с датомиком кстати? Смотрел доклад Нолана, он говорят пользуются компании, че-то там смотрят в истории изменений)
источник

ИФ

Иван Федоров... in Clojure — русскоговорящее сообщество
кстати Крукс дошёл до беты и идёт к General Availability
источник

A

Artem in Clojure — русскоговорящее сообщество
крукс и датомик как раз решают вопрос отправлять запрос в базу или нет :)
источник

ИФ

Иван Федоров... in Clojure — русскоговорящее сообщество
они наконец подняли ночные бенчи и уже не в слепую идут
источник

ИФ

Иван Федоров... in Clojure — русскоговорящее сообщество
и transaction functions вкрутили
источник

ИФ

Иван Федоров... in Clojure — русскоговорящее сообщество
я им пользуюсь для очень небольшой части данных и пока храню данные в голых rocksdb файлах. Надо как-то переползти в JDBC сторидж, чтобы пользоваться настроенным канареечным бэкапом.
источник

A

Artem in Clojure — русскоговорящее сообщество
вообще как впечатления?
источник

ИФ

Иван Федоров... in Clojure — русскоговорящее сообщество
Tim Plotnikov
Что там с датомиком кстати? Смотрел доклад Нолана, он говорят пользуются компании, че-то там смотрят в истории изменений)
я работал с датомиком очень поверхностно, в рамках JUXT же клиента. Было приятно.
источник

ИФ

Иван Федоров... in Clojure — русскоговорящее сообщество
Artem
вообще как впечатления?
Ну пока приятно, но у меня очень ограниченный опыт использования.
источник