Size: a a a

2020 January 27

P

Pavel in rust_offtopic
Tux
проблема
там правда ин-мем дб?
источник

T

Tux in rust_offtopic
Pavel
там правда ин-мем дб?
на жс
источник

T

Tux in rust_offtopic
селфрайтед
источник

P

Pavel in rust_offtopic
Tux
на жс
так мб попробовать её выделить отдельно?
источник

λ

λоλторт in rust_offtopic
Tux
или так или так
но при этом память у всех общая и у каждого треда есть доступ для изменения?
источник

λ

λоλторт in rust_offtopic
транзакционность какая-то есть, нужна?
источник

T

Tux in rust_offtopic
λоλторт
но при этом память у всех общая и у каждого треда есть доступ для изменения?
беда в том, что на ноде так не получится
источник

T

Tux in rust_offtopic
кинуть описание проблемы?
источник

λ

λоλторт in rust_offtopic
Tux
кинуть описание проблемы?
ну давай
источник

T

Tux in rust_offtopic
Tux
расклад такой: есть проект на ноде, который в памяти держит 20гб+ структур данных (объекты, массивы, и т.д.). Всё это дело нужно, чтобы над этими объектами производить некоторые операции которые заранее не детерменированы (фактически, код прилетает извне). Не спрашивайте WTF, я сам в шоке.

И так вопрос: каким образом это дело можно распараллелить на треды под нодой, без копирования памяти, прдставить что-то типа рид онли доступа, ибо даже мутексы хуютексы ситуацию не изменят т.к. таски просто будут ждать в очереди как и сейчас.

Схема данных тоже динамическая и не строгая.

Времени на импелементацию 2 месяца.
.
источник

λ

λоλторт in rust_offtopic
там не написано, должен ли быть конкурентный апдейт данных или нет
источник

P

Pavel in rust_offtopic
Tux
беда в том, что на ноде так не получится
ну так а выделить само хранилище данных отдельно можно?
источник

P

Pavel in rust_offtopic
ну, тоесть, запросики прилетающие дёргают же его по какой-то апишке приложения?
источник

T

Tux in rust_offtopic
Tux
там требования ансейф:

все эти скрипты могут изменять данные (далего не все изменяют, но возможность должна быть).
и при этом хотят параллелилизм.

можно канеш разметить их на рид-райт и рид-онли, и все ридонли пускать в параллель (ЕСЛИ, БЛЯТЬ НАУЧИТЬСЯ ЭТО ДЕЛАТЬ). А когда в очереди появится рид-райт, локать всю коллекцию и ждать пока он отработате, и только потом запускать дальше РО
.
источник

м

мухожук in rust_offtopic
λоλторт
Распараллелить нужно обработку одного запроса? Или чтобы разные запросы параллельно выполнялись?
там в рамках RWLock'а можно работать
источник

T

Tux in rust_offtopic
Pavel
ну, тоесть, запросики прилетающие дёргают же его по какой-то апишке приложения?
куски жс кода прилетают и исполняются в контексте данных
источник

P

Pavel in rust_offtopic
Tux
куски жс кода прилетают и исполняются в контексте данных
ну а контекст данных это что?
источник

T

Tux in rust_offtopic
Pavel
ну а контекст данных это что?
процесс ноды в котором все данные загружены
источник

P

Pavel in rust_offtopic
типа словаря что-то?
источник

T

Tux in rust_offtopic
типа
источник