В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

NLP_RU - Natural Language Processing & Text Mining

653 membersпожаловаться на группу
2021 June 08

TN

Timofey Naumenko in NLP_RU - Natural Language Processing & Text Mining
Повторю вопрос тут, наверное, тут это более релевантно.

В статье Attention is all you need, где были предложены Transformer'ы, авторы используют совмещенный BPE словарь (токены из частей слов) для английского и немецкого языков. Зачем это делается, если это не просто так? Как это обосновать можно?
источник
19:30пожаловаться#1

K

Ksenia in NLP_RU - Natural Language Processing & Text Mining
Языки очень похожие, и есть экономия на размере словаря
источник
19:32пожаловаться#2

K

Ksenia in NLP_RU - Natural Language Processing & Text Mining
Плюс multilingual shared embeddings берут информацию друг от друга (один язык от другого) — опять же если они достаточно близки
источник
19:32пожаловаться#3

K

Ksenia in NLP_RU - Natural Language Processing & Text Mining
В стастье про XLM про это хорошо и четко написано, если я не ошибаюсь, Conneau and Lample
источник
19:34пожаловаться#4

TN

Timofey Naumenko in NLP_RU - Natural Language Processing & Text Mining
Это сомнительный аргумент, так как в реальном применении рядом будет модель Transformer на 200М.
источник
19:34пожаловаться#5

TN

Timofey Naumenko in NLP_RU - Natural Language Processing & Text Mining
А вот про это я забыл. Спасибо, это то, что надо было!
источник
19:34пожаловаться#6

K

Ksenia in NLP_RU - Natural Language Processing & Text Mining
Вовсе не сомнительный, если вы посчитаете, какой процент от весов трансформера занимает embedding matrix
источник
19:34пожаловаться#7

K

Ksenia in NLP_RU - Natural Language Processing & Text Mining
Для любопытства посчитайте
источник
19:35пожаловаться#8

TN

Timofey Naumenko in NLP_RU - Natural Language Processing & Text Mining
Ох...)
источник
19:35пожаловаться#9

TN

Timofey Naumenko in NLP_RU - Natural Language Processing & Text Mining
78 метров)
источник
19:35пожаловаться#10

TN

Timofey Naumenko in NLP_RU - Natural Language Processing & Text Mining
Весьма много, вопрос отпал
источник
19:36пожаловаться#11

TN

Timofey Naumenko in NLP_RU - Natural Language Processing & Text Mining
Я думал в первую очередь про словарь токенизации, который в 1Мб можно поместить где-то
источник
19:37пожаловаться#12

K

Ksenia in NLP_RU - Natural Language Processing & Text Mining
У меня в bart-base 140M весов, а embedding matrix где-то 100M
источник
19:38пожаловаться#13

K

Ksenia in NLP_RU - Natural Language Processing & Text Mining
Это все-таки не совсем то
источник
19:38пожаловаться#14

TN

Timofey Naumenko in NLP_RU - Natural Language Processing & Text Mining
Уже понял. Выше посчитал, 78М на один словарь
источник
19:39пожаловаться#15

K

Ksenia in NLP_RU - Natural Language Processing & Text Mining
В смысле обе (энкодер / декодер )
источник
19:44пожаловаться#16

TN

Timofey Naumenko in NLP_RU - Natural Language Processing & Text Mining
Я подумал, что выше опечатка, и там должен был быть bert, поэтому наличие декодера меня удивило. Прочитал, оказывается, есть и bart...
источник
19:48пожаловаться#17

K

Ksenia in NLP_RU - Natural Language Processing & Text Mining
Да, барт лучше в некоторых задачах :)
источник
19:54пожаловаться#18
2021 June 09

ЕТ

Евгений Томилов... in NLP_RU - Natural Language Processing & Text Mining
Ролан
источник
17:56пожаловаться#19

ЕТ

Евгений Томилов... in NLP_RU - Natural Language Processing & Text Mining
Простите. #мимо
источник
17:56пожаловаться#20