CT
Ребят, как идеи организовываете?
Notion, roam research
Size: a a a
2021 February 05
I
Это как trello?
Не, это как evernote, только с человеческим лицом
VC
Ivan
Не, это как evernote, только с человеческим лицом
Опа, то, что нужно
I
Опа, то, что нужно
+формулы можно вставлять
CT
2) эмбеддинги и позициональные вектора просто суммируются, или с какими-то весовыми коэффициентами? как разрешаются коллизии, при которых слово А в позиции X имеет такой же вектор, как слово B в позиции Y?
Просто суммируются
VC
Я ещё сейчас нашел zettelkasten
I
Я не очень вникал. Мне надо было чтоб под мак/винду и айос были приличные полнофункциональные клиенты
I
А, и приличная веб-версия
VC
Вот нашёл obsidian md
CT
4) значения на голове трансформера (т.е. предсказанный контекст) являются чистыми эмбеддингами, без позиционального кодирования?
Позиция закладывается в самом начале при суммировании эмбеддинга токена и позишена и все
t
Просто суммируются
а как тогда разрешаются коллизии? ведь наверняка сумма позиции и эмбеддинга неуникальна, т.к. той же сумме будет соответствовать другое слово, но в другой позиции
и нужно ли как-то предварительно нормализовать координаты позиционного и эмбеддингового векторов?
и нужно ли как-то предварительно нормализовать координаты позиционного и эмбеддингового векторов?
CT
а как тогда разрешаются коллизии? ведь наверняка сумма позиции и эмбеддинга неуникальна, т.к. той же сумме будет соответствовать другое слово, но в другой позиции
и нужно ли как-то предварительно нормализовать координаты позиционного и эмбеддингового векторов?
и нужно ли как-то предварительно нормализовать координаты позиционного и эмбеддингового векторов?
Теоретически возможно, хотя маловероятно. Но а так всем пофиг)
t
а, типа "нейронка сама выучит"? 🙂
VC
а, типа "нейронка сама выучит"? 🙂
Проверяли различные виды эмбедингов, был ещё вариант самообучающихся, разницы особо не заметили
t
Проверяли различные виды эмбедингов, был ещё вариант самообучающихся, разницы особо не заметили
имеются в виду эмбеддинги позиции слова, а не самого слова?
VC
имеются в виду эмбеддинги позиции слова, а не самого слова?
Угусь
t
мне кажется, что выученные даже хуже должны быть из-за того, что выученные не будут так легко обобщаться на неизвестные ранее длины последовательностей, но это чисто догадка
CT
мне кажется, что выученные даже хуже должны быть из-за того, что выученные не будут так легко обобщаться на неизвестные ранее длины последовательностей, но это чисто догадка
Дак трансформер ванильный итак не работает с текстами длиннее 512 токенов
t
ну вроде в архитектуре самой нет никаких ограничений?