Ну, разве что Вы для всех фильтров заранее битмапы будете строить. А так-то для поиска есть богатая россыпь структур данных под общим названием "деревья", ну, Вы знаете, как СУРБД используют. 😉

@xbgnx нет, понятно, что Вы "шарите в теме" и понимаете что Вы делаете, почему и зачем. Надеюсь, у Вас вдобавок имеются и бенчмарки, и замеры производительности. 👍

Ты тоже сомневаться начал, что можно на ноде это сделать быстрее, чем на специально ориентированном софте для этого)?

не хочу учить rust - помимо необходимости изучать новый синтаксис (что уже достаточно больно так как привык к js/ts) он тащит кучу своего специфического контекста (парадигмы, модель, подходы програмированя) и т.д. В итоге это необходимость изучать кучу лишнего ради чего?  Меня js пока устраивает и проблема заключается всего лишь в невозможности аллоцировать массив (кусок памяти для записи чисел-байтов) больше 4гб

Там выше упоминался этап подготовки массивов, видимо, не на ноде. А читать-то можно и из ноды — арифметику JIT заоптимизирует по самое дальше некуда. 🤷‍♀️

Да, но тот же доступ к байтику там довольно тормозной, по отношению к нативу

> помимо необходимости изучать новый синтаксис (что уже достаточно больно так как привык к js/ts) он тащит кучу своего специфического контекста (парадигмы, модель, подходы програмированя) и т.д.

А вот теперь мне стало страшновато за Ваш проект... 😂

После JIT-а-то? 🧐

Я вчера узнал, что у TypedArray случайный доступ медленнее чем у DataView после JIT
https://v8.dev/blog/dataview

Кстати а AssemblyScript и какой-то не-нодовский рантайм (например wasmtime или lucet) уже поддерживает mem64 в webassembly чтобы можно было аллоцировать массив на ~20-50гб ?

так а какая разница-то? весь код работы с этой памятью это достатчно простой код где просто будут просто вычисляться нужные оффсеты и читаться нужные данные. Типичная арифметика, никаких особых фич rust-а мне для этого не нужно и я не выжу смысла переходить на раст чтобы по сути написать тот же код который я напишу на js

А как Вы эти массивы генерировать планируете?

Вообще, не перепутать случайно поля — тоже не лишняя фича при разработке. Но если пишете на TS, то проблем будет меньше.

отдельным скриптом из сырых данных

i32 для страниц не дадут этого сделать

Который написан на чём?

в webassembly есть пропозал для 64битного типа памяти, AssemblyScript его поддерживает? Может ли AS работать на wasm-рантаймах где уже поддерживается этот тип памяти?

еще не написан

пропозал есть, кто-то его реализовал)?
(я быстро гугланул, и все советуют Ram-drive + file pointer)

Поэтому я и спрашивал, что планируется в этом отношении?