D(
Угу, принимается. Мне просто не приходится работать с опечатками. В fasttext напрягает то, что там близкими оказываются слова похожие по морфологии. Например, для "желтый" я ожидаю в похожих увидеть "синий", "красный", а получаю что-то типа "желтым", "желто", "желтеть". Вроде как идея, что fasttext будет использовать морфологию только когда слово редкое, например, с опечаткой, а получается, что всё сводится к поиску по н-граммам. Тогда вопрос зачем fasttext, давайте явно делать какой-нибудь char-cnn
В ft близкими оказываются слова, близкие и семантически, и морфологически - вперемешку (пропорции, возможно, зависят от ширины окна и других параметров обучения).
Если однокоренные слова не нужны, их можно из соседей стеммером отфильтровать. Или, скажем, оставить только слова с такими же морфологическими характеристиками, как и у запроса.
В общем, эта проблема, во-первых, излечимая (с помощью костылей, но всё же).
А во-вторых, она и другим методам извлечения эмбеддингов присуща, просто ft от неё страдает больше остальных.
В общем, пока что лично меня ft всем устраивает, кроме размера)
Если однокоренные слова не нужны, их можно из соседей стеммером отфильтровать. Или, скажем, оставить только слова с такими же морфологическими характеристиками, как и у запроса.
В общем, эта проблема, во-первых, излечимая (с помощью костылей, но всё же).
А во-вторых, она и другим методам извлечения эмбеддингов присуща, просто ft от неё страдает больше остальных.
В общем, пока что лично меня ft всем устраивает, кроме размера)
