Size: a a a

2020 January 27

T

Tux in rust_offtopic
λeonid Onokhov
это стартап по торговле криптой, весь код портирован из экселя одного из основалетей
всё куда хуже. если бы крипта. если бы стартап.
источник

T

Tux in rust_offtopic
в общем, что это я
источник

T

Tux in rust_offtopic
по всей видимости мне пиздец
источник

λO

λeonid Onokhov in rust_offtopic
почему тебе пиздец то? Ты что какую-то ответсвенность несёшь? Уволился и всё. Программиста ноги кормят
источник

м

мухожук in rust_offtopic
Tux
там требования ансейф:

все эти скрипты могут изменять данные (далего не все изменяют, но возможность должна быть).
и при этом хотят параллелилизм.

можно канеш разметить их на рид-райт и рид-онли, и все ридонли пускать в параллель (ЕСЛИ, БЛЯТЬ НАУЧИТЬСЯ ЭТО ДЕЛАТЬ). А когда в очереди появится рид-райт, локать всю коллекцию и ждать пока он отработате, и только потом запускать дальше РО
Постгрес не подходит?
источник

T

Tux in rust_offtopic
мухожук
Постгрес не подходит?
это всё позже, после залатывания костылём дыры с тормозами. там сейчас 15+ минут запрос исполняется. они хотят чтобы было хотя бы минуту
источник

м

мухожук in rust_offtopic
Tux
это всё позже, после залатывания костылём дыры с тормозами. там сейчас 15+ минут запрос исполняется. они хотят чтобы было хотя бы минуту
Ты выяснил, где узкое место-то?
источник

T

Tux in rust_offtopic
нормальную архитектуту я и сам могу построить. вопрос в том, как сейчас выжить
источник

T

Tux in rust_offtopic
мухожук
Ты выяснил, где узкое место-то?
да, описал в первом посте
источник

м

мухожук in rust_offtopic
Tux
расклад такой: есть проект на ноде, который в памяти держит 20гб+ структур данных (объекты, массивы, и т.д.). Всё это дело нужно, чтобы над этими объектами производить некоторые операции которые заранее не детерменированы (фактически, код прилетает извне). Не спрашивайте WTF, я сам в шоке.

И так вопрос: каким образом это дело можно распараллелить на треды под нодой, без копирования памяти, прдставить что-то типа рид онли доступа, ибо даже мутексы хуютексы ситуацию не изменят т.к. таски просто будут ждать в очереди как и сейчас.

Схема данных тоже динамическая и не строгая.

Времени на импелементацию 2 месяца.
Здесь?
источник

T

Tux in rust_offtopic
приходит какой-нить filter + map по всей коллекции в 20+гб данных
источник

T

Tux in rust_offtopic
мухожук
Здесь?
+
источник

м

мухожук in rust_offtopic
короче узкое место у вас в архитектуре, я понял
источник

T

Tux in rust_offtopic
и это ещё пол беды
источник

T

Tux in rust_offtopic
да) очень проницательно)
источник

λO

λeonid Onokhov in rust_offtopic
Tux
и это ещё пол беды
ого!
источник

λO

λeonid Onokhov in rust_offtopic
там ещё есть!
источник

T

Tux in rust_offtopic
блять, ты даже не представляешь, дружище)
источник

T

Tux in rust_offtopic
если ты будешь угадывать, не угадаешь. я серьёзно. такое придумать нельзя
источник

м

мухожук in rust_offtopic
всё равно не понимаю. движок JS – нода?
источник