А как тогда savefrom.net всё качает и его не забанили?

А вот устроился бы к нам - знал бы у кого спросить)))

А подскажи, он и тиктоки на изи качает?

К вам - это куда?

Бля, у вас Go🌚

Подскажите, каким путем лучше пойти?

Есть два больших массива адресов, среди которых много пересекающихся. В обоих массивах адреса внесены руками и без особой системы. Например в некоторые из адресов включен почтовый индекс, в другие нет. Во многих случаях помимо адреса присутствует разная дополнительная информация. Требуется по возможности точно выявить совпадающие в обоих массивах адреса.

Я наметил следующий план:
1) Строится словарь частотности всех слов не являющихся числами по всем записям, из него берутся 2% самых часто встречающихся.
2) Эти слова, знаки препинания и некоторое количество других, заранее заданных слов считаются «мусорными» и удаляются из адресов.
3) Производится вычисление расстояния Левенштейна для всех возможных пар адресов. Для вычислений используется модуль Levenshtein.

К сожалению, скорость работы получилась недопустимо низкой. Нет ли подхода, позволяющего проделать эту работу более эффективно?

Да

Он много чего умеет

Гуглить по «векторный анализ текста» и «латентно-семантический анализ текста». Если осознал как работает Ливенштейн - доберёшься до решения довольно быстро

А так - с удовольствием бы

У нас конкретно это на плюсах

Мы уже начали свою ось пилить)

Долгий будет проект

Форк линуха или с нуля?

В каком смысле? Что-то линуксоподобное?

Ну не так все серьезно. Пока хотим ворваться в ядерный уровень и забрать на себя сетевой стек

Потом заберём стек памяти и ФС

На этом остановимся

Получится глубоко модернизированное ядро линукса, у которого в юзерспейсе останутся только административные инструменты

Оптимизация под свои задачи?