ты попал в типичную проблему неправильного решения. У тебя есть проблема А (но ты о ней не рассказал), ты придумал для неё решение Б (неправильное), ты спрашиваешь как сделать лучше решение Б, что априори неверный вопрос. Тебе надо рассказать о своей настоящей проблема, а не о способе решения проблемы, которое ты думаешь верное.
Вот на этом моя телепатия и кончилась, в попытках угадать что же является А
Почему не сделать структуру, которая будет представлять набор (IList/IEnumerable) нужных тебе фильтров и при фильтрации для IQueryable генерировать нужный Expression, который пойдет в Where условие?