Подведу мини-итог, перефразирую вопрос:

Итак,  есть  4 варианта:
1. Заинвистигировать че там так жрет, добавить стриминг, пагинации, прооптимизировать
2. Узнать у юзеров нахера им 2 ляма строк и предложить другое решение, наложить фильтры в базе скажем
3. Сделать x64 через выпилку ненужных либ, поставить лимит в апппуле, на всякий случай
4. Спинить больше инстансов (сейчас у нас 2)
С 1-2 с большего мне все понятно,
есть 3-4 которые железные, вопрос насколько плох-хорош 3, и хуже-лучше ли он 4 и почему

Изучай https://devblogs.microsoft.com/dotnet/regex-performance-improvements-in-net-5/

а что, в 3.1 всё ещё надо танцы с бубнами вокруг await ValueTask делать или уже нет?

какие например?

if (completed) return result else return await

а как бы ты хотел?

if (completed) return result else return await

в 99% процентах достаточно new ValueTask(Task)

без await?🤔

await task достаточно было бы, а всю херотень компилятор должен делать

вам вернули вельютаск, как его await-ить правильно?