SS
hnsw не поддерживается больше
Но он реально хорош, лучше только фаис
Size: a a a
2020 June 30
SS
И то только за счёт возможности использовать гпу
SS
Мы использовали hnsw, но размер индекса стал слишком большой
FF
И то только за счёт возможности использовать гпу
Так в фаисе тоже можно использовать гпу
SS
Вопрос в том сколько у вас документов и какая размерность векторов
Примерно миллион, размерность 1044
SS
Так в фаисе тоже можно использовать гпу
Я про это и пишу
FF
Да, сори, неправильно прочитал
VB
Примерно миллион, размерность 1044
Я не очень понимаю как могут возникнуть проблемы с таким количеством векторов. У нас суммарно под миллиард векторов, размерность 768-1024. Размер индекса 12-16Гб. Используем FAISS HNSW+PQ, на качество поиска не влияет по сути. Надо только подобрать грамотно параметры квантизации-кластеризации
VB
Попробуйте в FAISS индекс IndexIVFPQ с PQ32 и 4096 центроидами (IVF4096), если качество будет не очень то можно попробовать увеличить количество центроидов или увеличить количество компонентов квантизованных векторов
EU
У меня есть токен огромный, который нужно разобрать руками и сделать для него интепретацию. Но как это сделать. Я могу для одного токена сделать только 1 интерпретацию. А мне нужно несколько.
@alexkuk
@alexkuk
EU
Пример 89061234567
EU
Мне его нужно разложить в
Phone(
country_code=None, code=906, phone=1234567)
Phone(
country_code=None, code=906, phone=1234567)
EU
А получается только, например, так
Phone(
country_code=None, code=None, phone=89061234567)
Phone(
country_code=None, code=None, phone=89061234567)
DY
тут ml не нужен, вероятно. попробуй начать с простого подхода, используя библиотеки по типу phonenumbers
А
Коллеги, мы готовим заявку для подачи в Фонд проекта, который планируем разработать с применением нейросетей и искусственного интеллекта. Для подачи заявки требуется её корректировка с технической точки зрения, кто сможем помочь с этой задаче на платной основе?
EU
тут ml не нужен, вероятно. попробуй начать с простого подхода, используя библиотеки по типу phonenumbers
При чём тут мл?
EU
Почему phonenumbers не подходит, Я писал выше
DY
При чём тут мл?
исходя из тематики чата