DL
Спасибо, завтра буду пробовать
Size: a a a
2021 April 22
K
Вы увеличили карму 🅹🅾️🅺🅴🆁 до 109.40 (+7.07)
🅹
согласен, задача не совсем понятна, что именно сохранять и как сравнивать... ) но в общем суть такая.
DL
Вы правы, сравнить нужно только по домену
H
Если бы не сон, я бы написал код) но у меня нет задачи отсеять 8млн записей, так что лучше спать)
DL
Доброй ночи)))
DL
Спасибо
K
Вы увеличили карму Heilsenberg ᕕ( ᐛ )ᕗ до 69.35 (+7.07)
DL
За подсказки
H
Пожалуйста)
🅹
вот можно еще так, но все равно все в память в итоге упрется
domens = set()
with open("1.txt", "r") as fin, open("2.txt", "w") as fout:
for line in fin:
dom = line.strip().split('@')[~0].split(':')[0]
if dom not in domens:
fout.write(line)
domens.add(dom)VA
Для таких целей можно использовать SQLite. И памяти много не сожрет, и поиск быстрый есть
VA
Ну это такой баланс, смотря что мы экономим:
Память, Цпу или io.
Выбрать одно.
Память, Цпу или io.
Выбрать одно.
🅹
Вы правы, но тут я не подсказчик, сам с бд-шками сильно на вы )
VA
Я тоже на «вы» с редкими дружественными связями, но тут много знать не надо.
I
Новый вопрос в форуме: И ещё вопрос. Почему не работают команды Погода и Время
🅹
можно еще не строки в сет закидывать, а их хэши, тоже экономия )
DL
Спасибо