d
Добро пожаловать в клуб
Size: a a a
2021 October 11
ID
но спасибо огромное, что заметил и написал.
d
Вроде не слишком много вариантов, что в постпроцессинге написать для фикса
DE
Друзья, всем привет! 👋
Как вы, знаете, я люблю разрабатывать пайплайны для автоматизации решения ML задач 🛠
Наконец-то у меня дошли руки до еще одной задачи, с которой мне периодически приходится сталкиваться, а именно тематическим моделированием в лице Latent Semantic Analysis 🔥
В связи с этим я рад представить пайплайн, решающий эту задачу! 🥳🎉🍾
Пайплайн доступен на PyPI:
Ссылка не репозиторий: https://github.com/dayyass/latent-semantic-analysis
Как вы, знаете, я люблю разрабатывать пайплайны для автоматизации решения ML задач 🛠
Наконец-то у меня дошли руки до еще одной задачи, с которой мне периодически приходится сталкиваться, а именно тематическим моделированием в лице Latent Semantic Analysis 🔥
В связи с этим я рад представить пайплайн, решающий эту задачу! 🥳🎉🍾
Пайплайн доступен на PyPI:
pip install latent-semantic-analysisСсылка не репозиторий: https://github.com/dayyass/latent-semantic-analysis
YB
Может бывает "Ща" итп? Где биграммы-то в словаре из 30к символов?
d
Я вытащил все элементы из словаря, побил их на отдельные символы, отсортировал уникальные символы и вывел.
Щ. Ё, Q, Y, Z там нет ни на одной позиции в элементах словаря
Щ. Ё, Q, Y, Z там нет ни на одной позиции в элементах словаря
ID
тогда бы Щавель бился бы на токен Ща + токены вель, а бьется на unkи 🙂
YB
Хм, ну, Щавеля и Авеля сможет отличить по unk, но не сможет Ща от Ёа и Ъа :) так что в целом должно всё равно хорошо работать.
d
Да, тупой поспроцессинг. Благо, слов не много
d
Но теперь можно детектить продукты сделанные на основе этой нейросети )
PG
Всем привет!
Не подскажите, есть ли веса моделей, зафайнтьюненых на SberSQUAD для трансформеров?
Не подскажите, есть ли веса моделей, зафайнтьюненых на SberSQUAD для трансформеров?
DD
rut5-base-multitask училась среди прочих на этом датасете (задачи comprehend и ask), но чтобы хорошее качество получить, надо на какую-то одну задачу доучивать.
B
🔫 @Bewtg кикнут — вернуть этого пользователя можно только разбаном в настройках чата.
Проголосовавшие за кик:
@wadimiusz, @cointegrated, n i, @ajtkulov, @mashorlovskaya, @mshnya
При поддержке Золота Бородача
Проголосовавшие за кик:
@wadimiusz, @cointegrated, n i, @ajtkulov, @mashorlovskaya, @mshnya
При поддержке Золота Бородача
M
Плюсую. Sergei , а вы модели, код трены, вот эту вот всю воспроизводимость, по результатам из поста ruT5, ruRoBERTa, ruBERT не выкладывали?
[пост https://habr.com/ru/company/sberbank/blog/567776/]
[пост https://habr.com/ru/company/sberbank/blog/567776/]
PG
Спасибо!
Да, хочется модельку только для экстрактивного QA
Да, хочется модельку только для экстрактивного QA
DD
У deeppavlov точно был BERT под это, поищи тут http://docs.deeppavlov.ai/en/master/features/models/squad.html
PG
Да, у них есть, спасибо
🐙
Коллеги, тут часто обсуждают jamspell как средство коррекции опечаток. Хочу спросить: кто-нибудь пробовал его тренировать на своём корпусе? Получился заметный прирост в качестве?
VG
Пробовали дообучать jamspell pro на медицинском домене, получилось в разы лучше. Вот только модель сильно "раздувается" в размере и становится медленнее инференс
🐙
Большое спасибо за отзыв 🙌