YB
как ты вытягиваешь связанные токены?
Size: a a a
2017 April 17
NK
ну просто от слова + 10 слов, чем ближе, тем вес жирнее. и так же - 10
NK
если конец предложения встретился, то вес ещё падает
YB
ну и получаешь ассоциации для каждого слова, и что потом?
NK
там просто словоупотребление, не совсем ассоциации
YB
а w2v сделан cbow или skipgram ?
NK
у меня векторизации нет, я исходный материал смотрю, с чего в w2v строится вектор
NK
и вижу что там просто чепуха какая-то, от исходника зависит что получится
NK
причём даже на больших объёмах текста
YB
я вижу это ты шаманизмом занимаешься
NK
там десятки гигабайт нужны, чтобы что-то более-менее нейтральное получилось
YB
а не word2vec шаманизм
YB
ну хочешь я тебе огромный набор word2vec векторов дам, натренированный на дофига слов? есть с частями речи и без них
YB
но суть-то не в том, чтобы делать word2vec
YB
а в том, что потом со словами-ассоциациями делать
YB
вот я и спрашиваю, что ты с ними делаешь?
YB
просто смотришь? ну да, просто получишь разные ассоциации.
YB
NK
просто смотришь? ну да, просто получишь разные ассоциации.
я смотрю на то, из чего w2v пытается строить вектор. и вижу что там данных мало на тех объёмах которые аффтары предлагают
YB
какие аффтары?