AZ
Ребята, привет, сегодня был вебинар вот такой: https://us02web.zoom.us/webinar/register/1515989556145/WN_TqpWU9HpT8ukGC4PaWEPOw, у меня не получилось послушать, есть он в записи где-нибудь?
Size: a a a
2021 March 02
NS
Ребята, привет, сегодня был вебинар вот такой: https://us02web.zoom.us/webinar/register/1515989556145/WN_TqpWU9HpT8ukGC4PaWEPOw, у меня не получилось послушать, есть он в записи где-нибудь?
будет скоро. Подпишитесь просто на канал https://www.youtube.com/channel/UCi8TSxLIp-hb8lnYpU7XUmw
AZ
будет скоро. Подпишитесь просто на канал https://www.youtube.com/channel/UCi8TSxLIp-hb8lnYpU7XUmw
о, спасибо
AK
Привет! Напоминаю, в четверг 4 марта я буду проводить мастер-класс по разработке навыков Алисы в Python
Регистрация: https://botcamp.timepad.ru/event/1561807
- Расскажу про общие принципы разработки навыков Алисы (и подобных ей ассистентов)
- Покажу, как написать с нуля, захостить и опубликовать свой навык (стоит заранее зарегистрироваться в cloud.yandex.ru)
- Поделюсь своим опытом организации кода и инфраструктуры навыка
- Покажу, как использовать в Алисе собственные ML модели, если вам это вдруг нужно
- Презентую свою питонячью библиотеку tgalice/dialogic
Мастер-класс будет бесплатный и пройдёт в zoom.
Регистрация: https://botcamp.timepad.ru/event/1561807
- Расскажу про общие принципы разработки навыков Алисы (и подобных ей ассистентов)
- Покажу, как написать с нуля, захостить и опубликовать свой навык (стоит заранее зарегистрироваться в cloud.yandex.ru)
- Поделюсь своим опытом организации кода и инфраструктуры навыка
- Покажу, как использовать в Алисе собственные ML модели, если вам это вдруг нужно
- Презентую свою питонячью библиотеку tgalice/dialogic
Мастер-класс будет бесплатный и пройдёт в zoom.
2021 March 03
M
Всем привет. Подскажите, пожалуйста, есть ли решения (кроме тех, что основаны на правилах) для связывания именованной сущности и её сокращенного именования, например, {ООО "Сорок два" (далее - Клиент)}. Вывод {ООО "Сорок два" : Клиент}
.
Чтобы в дальнейшем вытаскивать из документа информацию (сентимент и др.) в привязке к именованной сущности через её сокращенное имя.
.
Чтобы в дальнейшем вытаскивать из документа информацию (сентимент и др.) в привязке к именованной сущности через её сокращенное имя.
AC
Вакансия НЛП Сбер https://t.me/sberlogajobs/37
В
Всем привет. Подскажите, пожалуйста, есть ли решения (кроме тех, что основаны на правилах) для связывания именованной сущности и её сокращенного именования, например, {ООО "Сорок два" (далее - Клиент)}. Вывод {ООО "Сорок два" : Клиент}
.
Чтобы в дальнейшем вытаскивать из документа информацию (сентимент и др.) в привязке к именованной сущности через её сокращенное имя.
.
Чтобы в дальнейшем вытаскивать из документа информацию (сентимент и др.) в привязке к именованной сущности через её сокращенное имя.
Можно решить как задачу разрешения кореференций
MS
Добрый день.
Натолкните куда копать.
Нужно поменять спецсимвол в слове на его аналог в русском языке. Например г🅟🅐🅜🅜 нужно преобрпзовать в грамм.
Натолкните куда копать.
Нужно поменять спецсимвол в слове на его аналог в русском языке. Например г🅟🅐🅜🅜 нужно преобрпзовать в грамм.
E
а известны все спецсимволы? или они каждый раз новые?
E
я бы сделала обычную замену регексом по коду UTF
E
но это если известно, какие символы надо заменять
MS
а известны все спецсимволы? или они каждый раз новые?
Новые, в иделе нужно перекрыть все варианты
A
Добрый день.
Натолкните куда копать.
Нужно поменять спецсимвол в слове на его аналог в русском языке. Например г🅟🅐🅜🅜 нужно преобрпзовать в грамм.
Натолкните куда копать.
Нужно поменять спецсимвол в слове на его аналог в русском языке. Например г🅟🅐🅜🅜 нужно преобрпзовать в грамм.
Если самому делать - можно посмотреть в сторону названий юникодовских символов. Там зачастую есть название буквы
AP
Привет! А может кто-то подсказать, как получается вектор документа в русской модели в третьем SpaCy? На основе усреднения входящих в документ токенов?
C
Добрый день. Если обучать NER multilingual для арабского, китайского и английского, то как лучше разбивать данные? Кажется, что по словам не получится, ведь там кажется в арабском и китайском слова немного в другом смысле, нежели чем в английском.
Пока рассматриваются варианты word, wordpiece, BPE ... Но последние не работает, т.к. там сложные иероглифы состоят из несколько байтов и все ломается если неправильно разбить.
Пока рассматриваются варианты word, wordpiece, BPE ... Но последние не работает, т.к. там сложные иероглифы состоят из несколько байтов и все ломается если неправильно разбить.
YB
Arsen Plus
Привет! А может кто-то подсказать, как получается вектор документа в русской модели в третьем SpaCy? На основе усреднения входящих в документ токенов?
Да. Векторов слов. Но вектора там бывают контекстуальные и неконтекстуальные. Причем неконтекстуальные кажется имеют преимущество... а вот если их нет, то используются контекстуальные. (Но контекстуальные вектора там достаточно простые)
VM
Добрый день. Если обучать NER multilingual для арабского, китайского и английского, то как лучше разбивать данные? Кажется, что по словам не получится, ведь там кажется в арабском и китайском слова немного в другом смысле, нежели чем в английском.
Пока рассматриваются варианты word, wordpiece, BPE ... Но последние не работает, т.к. там сложные иероглифы состоят из несколько байтов и все ломается если неправильно разбить.
Пока рассматриваются варианты word, wordpiece, BPE ... Но последние не работает, т.к. там сложные иероглифы состоят из несколько байтов и все ломается если неправильно разбить.
токенизация для арабского должна работать стандартно по пробелу и пунктуации, а для китайского есть готовые токенизаторы
C
токенизация для арабского должна работать стандартно по пробелу и пунктуации, а для китайского есть готовые токенизаторы
Спасибо!
AP
Да. Векторов слов. Но вектора там бывают контекстуальные и неконтекстуальные. Причем неконтекстуальные кажется имеют преимущество... а вот если их нет, то используются контекстуальные. (Но контекстуальные вектора там достаточно простые)
Спасибо!
YB
Arsen Plus
Спасибо!
Да, и если включены трансформеры, вектора берутся оттуда (но нужно перепроверить)