Size: a a a

Natural Language Processing

2021 April 03

c

codewalker in Natural Language Processing
David Dale
Возьми минимальный пример от какой-нибудь другой модели t5, интерфейс везде одинаковый
ну да... точняк
источник

IS

I Sh in Natural Language Processing
@cointegrated А вы не могли бы мне подсказать, за что отвечает класс Cascade в Диалогике?
источник

DD

David Dale in Natural Language Processing
I Sh
@cointegrated А вы не могли бы мне подсказать, за что отвечает класс Cascade в Диалогике?
Приветствую!
Я использую Cascade как глобальный объект, который с помощью декоратора @cascade.add_handler собирает по разным файлам со сценариями обработчики реплик.
А потом его метод call (он дёргается из TurnDialogManager) выбирает подходящий обработчик для конкретной реплики.
Каскадом я это назвал, потому что подходящие обработчики упорядочиваются по приоритету, а в рамках одного приоритета - по скору заматчившегося интента, и для данной реплики выбирается самый приоритетный.
источник

IS

I Sh in Natural Language Processing
David Dale
Приветствую!
Я использую Cascade как глобальный объект, который с помощью декоратора @cascade.add_handler собирает по разным файлам со сценариями обработчики реплик.
А потом его метод call (он дёргается из TurnDialogManager) выбирает подходящий обработчик для конкретной реплики.
Каскадом я это назвал, потому что подходящие обработчики упорядочиваются по приоритету, а в рамках одного приоритета - по скору заматчившегося интента, и для данной реплики выбирается самый приоритетный.
спасибо)
источник
2021 April 04

SS

Sergey Sikorskiy in Natural Language Processing
источник

B

Banof in Natural Language Processing
🔫 Андрей Шилов кикнут — вернуть этого пользователя можно только разбаном в настройках чата.

Проголосовавшие за кик:
@LoneGeek, @Nikitini, @mr_B1onde, @Aleksisn, @bazhanRO
При поддержке Золота Бородача
источник

SS

Sergey Sikorskiy in Natural Language Processing
источник

B

Banof in Natural Language Processing
🔫 Геннадий Большаков кикнут — вернуть этого пользователя можно только разбаном в настройках чата.

Проголосовавшие за кик:
@LoneGeek, @mr_B1onde, @KiloOscarTango, @Nikitini, @nshmyrev
При поддержке Золота Бородача
источник

KL

Kir L in Natural Language Processing
@cointegrated Давид, а можете рассказать, если это этично в целом, что и как глубоко требуется на такую позицию в Алисе https://yandex.ru/jobs/vacancies/analytics/an_alice/

интересно прежде всего, есть ли для такой позиции интервью по алгоритмам, например, как глубоко проверяют пайтон, как глубоко проверяют статистику и т.п. Спрашиваю в паблике, потому что может быть кому-то еще интересно! :)
источник

DD

David Dale in Natural Language Processing
Kir L
@cointegrated Давид, а можете рассказать, если это этично в целом, что и как глубоко требуется на такую позицию в Алисе https://yandex.ru/jobs/vacancies/analytics/an_alice/

интересно прежде всего, есть ли для такой позиции интервью по алгоритмам, например, как глубоко проверяют пайтон, как глубоко проверяют статистику и т.п. Спрашиваю в паблике, потому что может быть кому-то еще интересно! :)
Привет!
Да, рассказать этично, ибо никаких секретов я не выдам, поскольку не знаю их 🤷‍♂️
И да, я уволился из Яндекса год назад, так что очень рекомендую спросить у кого-то из нынешних яндексоидов детали.

Надо понимать, что собеседования в Яндексе типовые, и часть интервью будут проводить не ваши будущие коллеги по Алисе, а сотрудники других подразделений. Официальное рекомендации к стандартным интервью можно посмотреть на сайте: https://yandex.ru/jobs/ya-interview, там есть раздел про аналитиков. Ещё предлагаю посмотреть специализированные сайты, куда народ выкладывает вопросы с интервью в разные компании.

Секция по алгоритмам для аналитиков тоже проводится, хоть и не такая объемная, как для разработчиков. Но таки алгоритмы со структурами данных и питончик знать надо, без этого никак.

Секция по аналитике включают в себя:
- стандартные задачки по теорверу - про монетку и т.п;
- задачи про A/B тесты и статистику;
- задачи на знание и интуитивное понимание бизнесовых метрик (конверсии, ретеншн, customer lifetime value и т.п.) и умение связать их с инженерными задачами. Иногда попадаются довольно творческие задачи, типа "придумайте метрики качества алгоритма, управляющего лифтом";
- возможны задачи на машинку: как на понимание внутренней сути алгоритмов (например, градиентного бустинга), так и на контекст их применения - фичи, тренировочные и тестовые выборки, метрики качества.

Алисо-специфичная часть интервью тоже будет. Скорее всего, там будут задавать вопросы, приближенные к повседневной работе аналитиков в Алисе. А работа сводится примерно к следующему: выбрать из логов Алисы сбалансированную "корзинку" из запросов, прогнать её через Толоку для ручной разметки каких-то свойств ответов Алисы, проанализировать результаты, превратить это в регулярный автоматический процесс. В процессе нужно будет писать код на Питоне, запросы на YQL, и соединять кубики в Нирване. Вопросы на интервью, наверное,  будут задавать в духе "как бы вы оценили качество болталки Алисы", ожидая, что кандидат предложит какой-то осмысленный набор метрик.
источник

KL

Kir L in Natural Language Processing
Давид, спасибо!
источник

GF

Grigory Frantsuzov in Natural Language Processing
David Dale
Привет!
Да, рассказать этично, ибо никаких секретов я не выдам, поскольку не знаю их 🤷‍♂️
И да, я уволился из Яндекса год назад, так что очень рекомендую спросить у кого-то из нынешних яндексоидов детали.

Надо понимать, что собеседования в Яндексе типовые, и часть интервью будут проводить не ваши будущие коллеги по Алисе, а сотрудники других подразделений. Официальное рекомендации к стандартным интервью можно посмотреть на сайте: https://yandex.ru/jobs/ya-interview, там есть раздел про аналитиков. Ещё предлагаю посмотреть специализированные сайты, куда народ выкладывает вопросы с интервью в разные компании.

Секция по алгоритмам для аналитиков тоже проводится, хоть и не такая объемная, как для разработчиков. Но таки алгоритмы со структурами данных и питончик знать надо, без этого никак.

Секция по аналитике включают в себя:
- стандартные задачки по теорверу - про монетку и т.п;
- задачи про A/B тесты и статистику;
- задачи на знание и интуитивное понимание бизнесовых метрик (конверсии, ретеншн, customer lifetime value и т.п.) и умение связать их с инженерными задачами. Иногда попадаются довольно творческие задачи, типа "придумайте метрики качества алгоритма, управляющего лифтом";
- возможны задачи на машинку: как на понимание внутренней сути алгоритмов (например, градиентного бустинга), так и на контекст их применения - фичи, тренировочные и тестовые выборки, метрики качества.

Алисо-специфичная часть интервью тоже будет. Скорее всего, там будут задавать вопросы, приближенные к повседневной работе аналитиков в Алисе. А работа сводится примерно к следующему: выбрать из логов Алисы сбалансированную "корзинку" из запросов, прогнать её через Толоку для ручной разметки каких-то свойств ответов Алисы, проанализировать результаты, превратить это в регулярный автоматический процесс. В процессе нужно будет писать код на Питоне, запросы на YQL, и соединять кубики в Нирване. Вопросы на интервью, наверное,  будут задавать в духе "как бы вы оценили качество болталки Алисы", ожидая, что кандидат предложит какой-то осмысленный набор метрик.
Отличный ответ, спасибо!
источник
2021 April 05

ЛС

Лев Соловьев... in Natural Language Processing
Подскажите, кто знает, способы автоматически создать аннотацию к статье?
источник

D

Dmitry in Natural Language Processing
Переслано от Dmitry
Подскажите пожалуйста самые актуальные инструменты для извлечения фактов из англоязычных текстов.
источник

D

Dmitry in Natural Language Processing
Переслано от Dmitry
И второй вопрос - кому-нибудь удалось завести neuralcoref со SpaCy ?
источник

D

Dmitry in Natural Language Processing
Переслано от Dmitry
Потому что у меня вылетает ValueError: spacy.strings.StringStore size changed, may indicate binary incompatibility. Expected 112 from C header, got 64 from PyObject
источник

IS

I Sh in Natural Language Processing
Dmitry
Переслано от Dmitry
Потому что у меня вылетает ValueError: spacy.strings.StringStore size changed, may indicate binary incompatibility. Expected 112 from C header, got 64 from PyObject
Этой библиотеке нужны только определённые версии Спейси. У них где-то то ли в описании по установке, то ли в issue этот вопрос поднимался.

У меня всё заводилось с версией Спейси 2.2.4.
источник

IS

I Sh in Natural Language Processing
И 2.1.0
источник

IS

I Sh in Natural Language Processing
Вот, как-то так:

pip install spacy=='2.1.0' neuralcoref
python -m spacy download en_core_web_sm

import spacy
import neuralcoref

nlp = spacy.load('en_core_web_sm')
coref = neuralcoref.NeuralCoref(nlp.vocab)
nlp.add_pipe(coref, name='neuralcoref')


...

if doc._.has_coref:
       for cluster in doc._.coref_clusters:
источник

D

Dmitry in Natural Language Processing
I Sh
Этой библиотеке нужны только определённые версии Спейси. У них где-то то ли в описании по установке, то ли в issue этот вопрос поднимался.

У меня всё заводилось с версией Спейси 2.2.4.
Спасибо! Да, я вот тоже нашел этот issue сейчас
источник