Скорость можно высчитать?

Так у нас нет как я понимаю известных объектов с метками

Я бы кластеризовал потом посмотрел, кто в какую группу попал и потом навесил метку

у нас же неизвестны группы. Нам как раз таки нужно их найти

Мы только знаем какие есть группы, даже паттернов поведения мы не знаем, как я понимаю

Разбираюсь с трансформерами, возникло несколько вопросов по их работе и по мотивам positional encoding. Как кодируется положение слова относительно начала текста и зачем это делается, я вроде бы понимаю. Почему суммируется позициональный вектор и вектор эмбеддинга, я тоже вроде как понимаю.

Вопросы:

1) размерность позициональных векторов пропорциональна максимальной длине контекста, а размерность эмбеддингов пропорциональна размеру словаря. Как происходит подгонка размерностей, чтобы позиции и эмбеддинги имело смысл суммировать, а не конкатенировать? Другими словами, для больших контекстов и маленького словаря позициональные вектора будут куда длиннее эмбеддингов. Что делать, растягивать эмбеддинги? Паддить? Почему?

2) эмбеддинги и позициональные вектора просто суммируются, или с какими-то весовыми коэффициентами? как разрешаются коллизии, при которых слово А в позиции X имеет такой же вектор, как слово B в позиции Y?

3) если есть задача кодирования позиции с размерностью выше 1, есть ли общепринятые практики по увеличению размерности позициональных векторов, чтобы из суммы двух векторов все равно можно было уникально получить смещения по каждой индивидуальной оси?

Так три группы определены и с их признаками нужно определиться

по сути да, но в некоторые дни были метели и камеры иногда не могли записать транспорт

А, да. Группы нам известны заранее. Перечитал вопрос сначала

4) значения на голове трансформера (т.е. предсказанный контекст) являются чистыми эмбеддингами, без позиционального кодирования?

Ну надо ещё факторы наложить , если есть деньги - сделаем.

У позиционных эмбеддингов шейп ( максимальная длина контекста, 512), у эмбеддингов токенов (размер словаря, 512). После лукапа по матричкам эмбеддингов получаются шейпы (длина последовательности, 512) и все прекрасно складывается

понял, эмбеддинги растягиваются (или скукоживаются) как раз за счет тех аттеншон-матриц, размерность которых по одной оси это длина эмбеддинга, а по второй - максимальная длина контекста

а как быть с остальными вопросами?

видел такое - https://github.com/tatp22/multidim-positional-encoding - но я черт его знает, насколько этот подход общепринятый

Ребят, как идеи организовываете?

notion

А то я психанул и всё в md записываю

Это как trello?