KS
А что, там на сайте нет? Вроде SDK на 4-х языках, на выбор...
Size: a a a
2021 December 02
2021 December 03
A
Может кто посоветовать на чем лучше поднять систему автогенерации квизов?
FF
Смотрели annoy?
🐙
Не видел, большое спасибо! Достаточо интересная библиотека, однозначно пригодится.
Вот это немного смущает:
> Index creation is separate from lookup (in particular you can not add more items once the tree has been created)
in particular you can not add more items once the tree has been created)
Судя по всему, не позволяет догружать вектора без перестроения, а мне эта функциональность тоже нужна.
И вот это тоже:
> seems to perform surprisingly well even up to 1,000 dimensions
У меня где-то 200'000 получилось.
Вот это немного смущает:
> Index creation is separate from lookup (in particular you can not add more items once the tree has been created)
in particular you can not add more items once the tree has been created)
Судя по всему, не позволяет догружать вектора без перестроения, а мне эта функциональность тоже нужна.
И вот это тоже:
> seems to perform surprisingly well even up to 1,000 dimensions
У меня где-то 200'000 получилось.
FF
векторы с размерностью в 200к?
A
elasticsearch... а 200'000 этот одном векторе?
FF
это tf-idf что ли?
🐙
Да, в 1 векторе. HashingVectorizer, faiss переваривает с допустимой для меня скоростью.
FF
так а зачем их хранить?
🐙
Скажем, исходные документы могут стать не доступны.
FF
А faiss нужен, чтобы их сжимать?
🐙
faiss нужен для Ann классификации.
A
у faiss вроде тоже сериализация есть
🐙
Есть. У меня уже есть свой код, который выполняет мою задачу, я просто решил поискать готовые решения.
Для себя сделал процесс через хранение векторов в RDB, а при старте просто перегружаю базу в индекс. Получается персистентно, устойчиво к нарушению порядка целочисленных векторных индексов + бонусом статистики можно прикрутить.
Для себя сделал процесс через хранение векторов в RDB, а при старте просто перегружаю базу в индекс. Получается персистентно, устойчиво к нарушению порядка целочисленных векторных индексов + бонусом статистики можно прикрутить.
A
крутенько... а вопрос тогда в чем...
🐙
Вопрос в том, есть ли такое же, с аналогичным составом возможностей:
- персистентность между перевключениями
- возможность online добавления
- встраиваемое, без необходимости разворачивания экосистемы,
но готовое.
Я свой код пока в библиотеку не оформлял, потому что нахожусь под впечатлением, что сделал велосипед.
- персистентность между перевключениями
- возможность online добавления
- встраиваемое, без необходимости разворачивания экосистемы,
но готовое.
Я свой код пока в библиотеку не оформлял, потому что нахожусь под впечатлением, что сделал велосипед.
NS
Привет. Чего-то не могу найти русского берта uncased. Никто не видел?