Прочитал сейчас статью по поводу использования эмбеддингов для кодирования катфичей и не уверен, что верно понял концепцию.
То есть, скажем, у нас есть катфича с 12-ю уникальными значениями. Я строю обычный перцептрон, где в качестве независимой фичи подаётся моя катфича, а в качестве зависимой - исходный таргет.
И после обучения, я вытаскиваю значения в нейронах с первого скрытого слоя. Это и есть мои эмбеддинги. Я неверно понял?
в теории не знаю, но с точки зрения практики выглядит так.
создается dict под кат фичу. Ключ - значение фичи, значение какой то эмбеддинг. При подачи этой фичи в нейронку вместо неё берется эмбединг. Далее считаются градиенты и эмбеддинг оптимизируется.
В итоге у тебя есть dict фича->эмбеддинг