AD
я помню что граф в рантайме строится, нет?
Да, но что мешает его вытащить в отдельный рек таск и собрать жсон для визуализации?
Size: a a a
2020 February 02
K
считалка там сложная, схема такая
AD
Ребята, кто разруливал такую ситуацию, данных много(2-3 млн) в таблице, сделана страница куда выводятся резуьтаты статистики, сейчас все работает на связке постгресс+монго, тормозит все адово, клиент не хочет уступать в сторону кеширования части данных, просит реалтайм вывод.
Я вижу схему так, берем таблицы, которые хранят данные для расчетов, создаем одну таблицу, в которой будут колонки с параметрами для графиков(проценты, разница и т.п) пишем импорт данных с применением их написанных считалок этого всего добра, расчитываем все в бекграунде и заносит потихоньку в эту одну таблицу.
Так же пишем обработку новых данных, где на бекграунде будет пересчитывать поля(процентные, разница) и +=1 для счетчиков(int) каждый раз, когда поступает процесс создания.
Входные:
Давит не сильно, 50-70rpm на новые данные
Не совсем прикольно запускать джобы на каждый сейв, но запихывать перерасчет в сервер где происходят сейв повлечет увеличение респонза, поэтому скорее всего по вебхуку будет прилетать на сервер с расчетом статистики и джобами обрабатывать.
Кто разруливал реалтайм статистику с кучей процентов и вывода разниц, когда требовали - здесь и сейчас(новый сейв - покажи нам его прямо сейчас) ?
Я вижу схему так, берем таблицы, которые хранят данные для расчетов, создаем одну таблицу, в которой будут колонки с параметрами для графиков(проценты, разница и т.п) пишем импорт данных с применением их написанных считалок этого всего добра, расчитываем все в бекграунде и заносит потихоньку в эту одну таблицу.
Так же пишем обработку новых данных, где на бекграунде будет пересчитывать поля(процентные, разница) и +=1 для счетчиков(int) каждый раз, когда поступает процесс создания.
Входные:
Давит не сильно, 50-70rpm на новые данные
Не совсем прикольно запускать джобы на каждый сейв, но запихывать перерасчет в сервер где происходят сейв повлечет увеличение респонза, поэтому скорее всего по вебхуку будет прилетать на сервер с расчетом статистики и джобами обрабатывать.
Кто разруливал реалтайм статистику с кучей процентов и вывода разниц, когда требовали - здесь и сейчас(новый сейв - покажи нам его прямо сейчас) ?
Я обычно стараюсь засунуть такие вычисления в кеш текучего стейта. В твоём случае я бы сначала разобрался в том, что тормозит, что бы придумать как это пофиксить
K
на бекенде считает каждое обновление и потом вытаскивает кучу ьаблиц(но без джойнов) каждая отвечает за свой график, это все считается и плюет в сокет на морду, люди по этим данным реагируют и зарабатывают
K
сами считалки написаны на руби
K
т.е результат из бд через серелизатор никто не закидывал, сделали все в контроллерах(тут такие простыни, что я путаюсь что куда)
K
Я обычно стараюсь засунуть такие вычисления в кеш текучего стейта. В твоём случае я бы сначала разобрался в том, что тормозит, что бы придумать как это пофиксить
вот и начал с базы, хоть как то помочь человеку(старый друг)
K
на вход давит 50-70rpm, они должны считать 27 каких то их бизнес графиков используюя их базу, где эти 27 графиков юзают 27 таблиц, каждая по 2-3 млн(набили за 5 месяцев работы) им нужен реалтайм полный(2-3 секунды был расчет минимум) сейчас все стало плохо, я день потратил на это, сам первый раз встречаю такой бизнес(считалки сложные на руби), хотел помочь, но походу тут не разрулить обычными индексами или джобами
K
выходной в пустую, пропробую еще варианты через неделю, всем хорошего вечера, спасибо за помощь
NS
ты индекс-то составной запилил для начала? Чтобы посмотреть хотя бы
K
я прошелся по другим таблицам, нашел почти в каждой нехватку сборных индексов, только колоночные, в одной есть сборный, но и он корявый, я даже не мог подумать, что их не добавили, сложно вьехать за день во все места
NS
правило простое, тормозит запрос — посмотри план
K
запомнил теперь на долго, а то тут столько версий мне в уши накидал клиент, прям с историями и догадками, инфо фон забил голову, спасибки за правильное направление
2020 February 03
TC
Hello everyone here I would like to introduce you to easy way of making money from home with your little investment of $500 in USD/ BTC and earn $6,500 weekly or more and $26,500 monthly or more, investing higher will yield you more profits and bonuses. Withdrawal are done directly to bank account or bitcoin wallet. Send the manager a message her for more information you can view the company channel link.
@JadeSimon
@JadeSimon
🖕🏼🖕🏼🖕🏼🖕🏼🖕🏼
👇👇👇👇👇👇
https://t.me/joinchat/AAAAAEN2SU0aXdmBL_5JNg
@JadeSimon
@JadeSimon
🖕🏼🖕🏼🖕🏼🖕🏼🖕🏼
👇👇👇👇👇👇
https://t.me/joinchat/AAAAAEN2SU0aXdmBL_5JNg
AD
Ещё интересный вопрос как детектить зависимости вне контейнера, но я думаю разберусь с этим сегодня
короче я разобрался, получилось все ок. единственная проблема с ботом для конфы - много приватных методов, так сорс локейшен из прая не работает, поэтому пришлось все методы в коммандах сделать публичными
AD
Ещё интересный вопрос как детектить зависимости вне контейнера, но я думаю разберусь с этим сегодня
AD
Ещё интересный вопрос как детектить зависимости вне контейнера, но я думаю разберусь с этим сегодня
IM
О, он уже опубликовал ее?
IM
Красивая штука