Есть text file(около 6000 строк )который нужно будет загружать каждый день. Задача загружать excel file в web приложение (asp net) и проверять существует ли схожие данные в txt файла, мой вопрос в том нужно ли записывать данные из txt файла в какую нибудь БД , а потом данные из бд сравнивать с excel или просто проходить по каждой строке txt файла и записывать данные в какой нить стринговый лист и сравнивать с excel ( 2-й вариант думаю будет хуже производительность )
Если вы что то сравниваете, то должен быть ключ уникальности, и критерий изменения, тоесть документ изменён, если в нём изменился этот столбец, или 2 столбца. Можно хранить их как угодно, они у вас скорее всего поместятся в оперативной памяти полностью, но старайтесь хранить в отсортированном порядке по ключу. Сравнивать следует так, сортируете их по ключу, и одним проходом смотрите и сравниваете. так можно их сравнить как O(n)