А как в spaCy правильно применить несколько NER моделей к одному и тому же тексту? Я не смог разобраться по доке. Там есть примеры для одной модели, которые я и использую в своём коде, то есть как-то так:

import spacy
nlp = spacy.load("model")
doc = nlp("some_text")

Я раньше пользовался одной моделью, чтобы достать одну именованную сущность. Теперь у меня появилось ещё две модели, каждая под свою сущность. Как мне правильно к одному и тому же тексту применить три модели, чтобы все три сущности были размечены в объекте типа doc?
Версия spaCy у меня 2.1.8, потому что 2.2 я не могу использовать из-за одного бага там

import spacy
nlp = spacy.load("model")
doc = nlp("some_text")

проще всего так:
doc1 = nlp1("...")
doc2 = nlp2("...")
all_ents = doc1.ents + doc2.ents

то есть если в объекте doc сохранить надо, то можно так?
doc1.ents = doc1.ents + doc2.ents

если в пайплайне (класс nlp) будет два компонента ner, запустится только один (а если бы запустилось два, второй перетёр бы результаты первого)

можно, только не забудь сделать один раз for l in doc2.get_pipe('ner').labels: doc1.get_pipe('ner').add_label(l)

на всякий случай, поясню, в чём нюанс реализации NER в spacy:
там элементы не могут пересекаться. это значит, что если вы хотите разметить адрес
Москва, ул. Ленинградская, д. 7
и одновременно его компоненты разметить как
LOC (и CARDINAL для "7"), то у вас ничего не получится.

Ого. А что произойдёт в моём случае, если у меня сущности в doc1 и doc2 пересекутся, при объединении результатов двух моделей?
Если что-то ломается, то как лучше разрешить? Допустим, для меня не страшно, если останется разметка только одной модели. И пока что не очень важно, какая именно модель "выиграет".

HOW THE DOC.ENTS WORK
When you add spans to the doc.ents, spaCy will automatically resolve them back to the underlying tokens and set the Token.ent_type and Token.ent_iob attributes. By definition, each token can only be part of one entity, so overlapping entity spans are not allowed.
https://spacy.io/usage/processing-pipelines#wrapping-models-libraries , чёрная вставка справа

Спасибо. Не очень понятно, что там подразумевается под "underlying tokens". Я правильно понял, что какая модель первая разметила, от той и останутся сущности в doc? То есть в примере doc1.ents = doc1.ents + doc2.ents при пересечении спэнов останутся сущности из doc1?

я мб чт-то пропустил,но почему бы не запускать конкурентный пайплайны независимо, а потом руками обрабатывать слияние результатов?

зависит от реализации, но кто-то перепишет сверху теги.

можно так делать, но в основной spacy такой способ делать NER нормально не законтрибутить.

"кто-то" - это мои модели или что-то дефолтное от спейси?

при сохранении .ents вызовется какой-то метод spacy, который перезапишет entities у каждого слова, и исходя из этого подредактирует spans. надо смотреть реализацию.

https://support.prodi.gy/t/what-happens-if-your-annotation-has-overlapping-entity-spans/363/2
вот ещё предложение, как это в один пайплайн можно свести.

кто-нибудь пользовался этой либой на своих задачах? как зашла?
https://github.com/chomechome/maru

возможно ли в tf-idf учитывать контекст?

Можно кроме слов включить словные n-граммы, если размеры обучающей выборки позволяют. Не то чтобы полноценный контекст, но как костыль может быть вполне пристойным.

если включить еще и n-граммы побуквенно, то не будет лишним?

иногда докидывает. попробовать стоит)