то нужно написать код, который их сливает. А потом код, который их чистит

и мониторинг настроить, чтобы эти два процесса не подохли. И иметь запас места на диске, чтобы даже если эти процессы сломались, у нас было время на реакцию.

👋🏻 привіт!
Розумію, що тут більшість нод-розробники, але все ж мають бути люди, які спробували за своє життя не тільки його.

Мене цікавить, яка технологія краще підійде для розробки системи метчингу (matching system). Це підбір (метчинг) людей на основі кількох критеріїв (ні, це не Tinder, але так також зводитиме людей).
К-сть користувачів? Припустимо 100-500 мільйонів людей.

мне кажется при грамотном подходе любой язык выдержит

другое дело что вам нужен будет не один сервер а несколько, и что-то типа Map/Reduce или что там используют

эта задача от бекенд-языка мало зависит.

а так-то главное правильный и быстрый алгоритм а не язык

Так, варто додати ще, що matching system вимагає застосування машинного навчання (чи це хибна думка?). Тому треба це враховувати.

Хз какое там машинное обучение. В момент сохранения профиля прогоняется какая-то функция, которая выдает профилю score. Вот ее на чем захочешь, но том и напишешь.

А матчинг просто по скору людей, их близости и мб еще каким-то полям в базе выборку из бд делает.

мы когда-то делали матчинг для сведения людей без машинного навчання. просто люди в профиле указывали интересы (слова) и матч это если более 3х интересов совпадают. первая версия кода была типа такая
for (let i = 0; i < users.length; i++) {
  for (let j = 0; j < users.length; i++) {
      const cnt_matches = countMatches(users[i], users[j]);
      if (cnt_matches > 3) saveMatchToDb(users[i].id, users[j].id)
  }
}

но это жесть и так не делайте. сложность O(n^2) и когда много пользователей начинает заканчиваться и память и время. поэтому основное это алгоритм )

тут еще важен критерий мэтчинга

даже  сложность O(n^2) не самое страшное имхо =)

поэтому всякие дейтинги тебе не показывают все матчи сразу, а по одному; Потому что выдернуть 1 профиль даже с n^10 нестрашно

а вы дейтинг разрабатываете, мне интересны дейтинги

ну если юзеров около 100000, то оно будет слишком долго )

кеши решают

это можно как-то обойти я думаю

все что угодно, лишь бы не думать над алгоритмом )

давным давно 2 года работала в дейтинг проекте ) наверно с тех пор алгоритмы матчинга стали лучше чем мы писали тогда на for-each-ах

прикольно, я раз фронт пилил на дейтинге на джквери но то тоже было давно =)